SPR 专题——语义前缀路由
什么是 SPR
SPR(Semantic Prefix Routing / 语义前缀路由)是一种替代稠密矩阵的参数化方案:用递归语义判定树替代 Embedding + Softmax 的输出层。
核心思想:每个词不是一行向量,而是从根到叶子的一条路径。路径上的每个节点做一次语义判定(动词/名词、动物/工具…),判定序列本身就编码了词的语义。
系列文章
License: GPLv3
-
[SPR-001] 语义前缀路由——用递归路径替代稠密矩阵
提出 SPR 方案:用递归语义判定树替代输出层的稠密矩阵,路径即表示。 -
[SPR-002] 树架构设计与暂缓——硬件加速决定架构生存
SPR 树架构的完整设计,以及为什么暂缓——硬件壁垒。 -
[SPR-003] 递归砍半做回归——不用梯度,也能学到线
一个实验:用递归砍半替代梯度下降做线性回归。4 层深的树追平了梯度下降。 -
[SPR-004] 堆路由——SPR 的矩阵化设计与碰撞模型
SPR 的完整设计文档——用堆数组实现矩阵化的树路由,替代 Transformer 输出层的 Softmax。 -
[SPR-005] 链→树→图:数据结构谱系与 encoder 的并发性
NMT 架构按梯度传播路径可分为链(RNN)/树(SPR)/图(Transformer)三元谱系,每个结构对应一种 encoder 并发模型。树正处在链和图的中间——需要设计一种按层并行的 encoder。 -
[SPR-006] SPR Echo Test——从 hash map 到句子级递归二分树的完整验证
从 hash map 到句子级递归二分树——SPR echo test 的全流程验证。涵盖:自映射概念、堆树设计、碰撞退化、BLEU 验证。 -
[SPR-007] 从 Echo 到 Order——零成本有序哈希 + 双树翻译架构
P6 验证了 echo。P7 从 echo 走向 order——零成本 cyclic shift 有序哈希 + 双树(Encoder + Bridge + Decoder)翻译架构。包含完整的碰撞推导与修正验证。 -
[SPR-S1] Session 1 — Echo 之战:从词级哈希到句级拓扑
SPR Session 1 完整教学——从词级分解路由 (BLEU=99.99) 到句级固定模板 + 计划采样 (BLEU=60.5, token_acc=79.1%) 的完整演进。 -
[SPR-S2-01] Session 2 翻译桥接——架构演进与当前状态
SPR Session 2 翻译桥接——从 LeafPredictor 到 GRU 到 W_split 树到 path-aware decoder 的完整架构演进,以及当前 450K 训练句的验证状态。 -
[SPR-S2-02] 翻译桥接——三尺度分形架构
SPR S2 三尺度翻译桥接最终架构——L0 全局记忆库 (Token 对齐)、L1 Bi-GRU 共现数组 (补缺修复)、L2 树折叠 (语序排序)。 -
[SPR-S2-03] VecMap + BPE — 跨语言嵌入对齐的落地路线
SPR S2 跨语言桥接——从 VecMap(2018) + BPE(2016) 到 Procrustes 正交对齐的落地实现。