TreeHeap 损伤后的生长:从消融因果走向跨分辨率修复
SPR-060 提出了一个直观例子:
夏天的凉风吹过一望无际的青青草原
→ 夏天的凉风吹过草原
→ 风吹过草原
这个例子帮助我们想象“分辨率逐层降低”,但它也悄悄越过了证据边界:它把不可读的内部向量理想化成了人类可读的缩句。
Houming818 对此持保留意见。当前实验只证明了高层状态可以参与未来预测,没有证明高层真的保存了“风吹过草原”这样的语言轮廓。
这次讨论带来了更重要的修正:
TreeHeap 的目标不应只是证明 root 或 detail 保存了信息,而应研究:当部分信息自然缺失时,剩余的多分辨率结构能否约束缺失部分,使它重新生长出来。
本文先记录这一思想,不把它冒充成已经成立的实验结论。文末给出供评审的 ARA、Predict 和 Proof 草案;正式实验将在理论口径确认后再启动。
1. 守夜实验到底证明了什么
上一轮守夜实验使用完整的 64 token 中文历史预测后续 16 token,没有先做 Mask。相同模型分别采用三种分辨率训练课程:
| 训练方式 | root NLL | leaf NLL | 含义 |
|---|---|---|---|
| 只训练叶层 | 35.8732 | 5.3615 | 信息不会自动上传,root 被模型放弃 |
| 均匀训练七个深度 | 5.7158 | 5.4870 | 所有分辨率都可以获得预测能力 |
| 由叶向 root 退火 | 5.6240 | 5.5624 | 退火使 root 比均匀训练改善 0.0918 |
退火模型的 root 与 leaf 只相差 0.0603 NLL,七个分辨率的 NLL 与深度呈有序关系,Spearman 相关系数为 -0.75。
这支持一个有限结论:
在容量逐层收窄的 TreeHeap 中,训练压力能够使较高层状态获得未来预测能力。
但结构审计没有通过:
| 干预 | root NLL 变化 |
|---|---|
| 用其他样本替换 source | +0.0852 |
| FOLD 前交换相邻左右孩子 | -0.0011 |
这意味着当前 root 可能主要保存语料平均统计、主题或常见后续,而不是这一个样本的具体关系。它还不能被解释成一条“内部缩句”。
受控 Toy 中,未来由三个核心 token 决定,另外十三个 token 是独立噪声。TreeHeap 确实能把核心信息抽进 root:打乱核心造成超过 16 NLL 的损失,打乱噪声几乎没有影响。不过 mean pooling 也能完成任务,所以这还不是 TreeHeap 特有的胜利。
2. 第一处修正:上层状态不等于缩句
我们不再假设:
root = 风吹过草原
更严谨的说法是:
叶层:容量较大,包含较多局部状态
高层:容量较小,但仍包含某些预测信息
root:一个不可读的低分辨率状态
root 可能包含事件轮廓,也可能包含主题、文体、词频偏置或其他统计捷径。内部编码可以是 encoder 与 decoder 共同形成的私有协议,人类不一定能直接翻译成一句话。
因此,“高层 NLL 较低”只能证明高层可用于预测,不能单独证明高层理解了句子。
3. 第二处修正:当前抽水机没有内容级价值判断
当前退火实验只调度“在哪个深度读取”:
训练早期:更多读取叶层
训练后期:更多读取高层
它没有在一次 FOLD 内判断:
保留左边?
保留右边?
保留二者关系?
上传当前轮廓?
把什么留在 detail?
Houming818 从自我观察提出了另一种可能:
回溯一个句子或一个刹那时,意识可能先出现一个相关性最高的轮廓,然后围绕这个轮廓构造细节。它不是机械地抽取“必然信息”,而是在当前背景下判断什么最重要。
若把这个猜想转换成数学语言,每个局部节点应产生一个价值概率桶。设当前查询或背景为
$q$,局部状态为
$H_{\text{local}}$,候选处理方式为
$a$:
$
$ s_a=K_\theta(q,H_{\text{local}},a). $$
$
$ p(a)=\operatorname{softmax}\left(\frac{s_a}{\tau}\right). $$
候选
$a$可以包括保留左侧、保留右侧、合成关系、停止收缩等操作。训练阶段先保持软分布:
$
$ H_{\text{parent}}=\sum_a p(a)\,T_a(H_{\text{local}}). $$
温度下降以后,分布才可能接近:
$
$ a^*=\arg\max_a s_a. $$
这里的“重要”不是人工语法标签,而是反事实价值:
$
$ V(a)=\mathcal L_{\text{without }a}-\mathcal L_{\text{with }a}. $$
去掉某部分后任务 Loss 增加得越多,它在当前背景下的上传价值越高。
但必须明确:现有实验没有实现也没有证明这个内容级 argmax。它只是下一阶段可能需要的机制。
4. 从分形观察到的不是外形,而是损伤后的恢复
本文不打算把分形公式设计进 TreeHeap。
我们只是观察分形压缩和自相似生成表现出的一种能力:系统不保存每一个细节,而保存能够约束细节的规律;观察分辨率降低以后,整体形态仍然存在,需要时可以从规则递归展开。
严格来说,数学分形本身不等于可损压缩。这里借用的是“分形压缩与跨尺度重建”的能力类比,而不是宣称 TreeHeap 已经是分形。
这个类比把研究问题从:
拿掉一个节点,Loss 增加多少?
推进为:
拿掉一个节点以后,
TreeHeap 能否根据其他尺度和位置重新生成它?
这是两个完全不同的问题。
5. 因果消融为什么不等于修复能力
当前审计采用:
$
$ \Delta L_{\text{ablation}}=L_{\text{damaged}}-L_{\text{clean}}. $$
若
$\Delta L$很大,我们知道模型依赖被消融状态。但这也可能意味着系统非常脆弱:一个节点损坏,整体立刻失效。
若
$\Delta L$很小,也有两种解释:
- 模型从未使用这个节点;
- 其他节点包含冗余,能够替代它。
只看消融损失无法区分二者。
因此下一阶段必须把三个状态分开:
$
$ L_{\text{clean}},\qquad L_{\text{damaged}},\qquad L_{\text{repaired}}. $$
- $L_{\text{clean}}$:完整 TreeHeap 的任务损失;
- $L_{\text{damaged}}$:破坏局部状态后、尚未修复的损失;
- $L_{\text{repaired}}$:运行修复 kernel 后的损失。
定义修复率:
$
$ \rho=\frac{L_{\text{damaged}}-L_{\text{repaired}}}{L_{\text{damaged}}-L_{\text{clean}}+\epsilon}. $$
| 修复率 | 含义 |
|---|---|
| $\rho=0$ | 没有修回任何损失 |
| $\rho=0.5$ | 修复了一半损失 |
| $\rho=1$ | 回到完整状态的任务水平 |
这条曲线才是“可损后生长”的直接评价。
6. TreeHeap 可以怎样重新长出 detail
现有 learned lifting FOLD 写成:
$
$ D=R-P_\theta(L). $$
$
$ U=L+A_\phi(D). $$
其中
$U$是上传的粗状态,
$D$是留在当前地址的 detail。完整的 root 与所有 addressed detail 仍然构成闭合的
$H_{\text{state}}$。
当某个 detail 损坏时,旧做法是清零并直接观察 Loss。新的做法需要先预测缺失残差:
$
$ \hat D=G_\psi\left(U,\,H_{\text{sibling}},\,\text{path},\,W\right). $$
其中:
- $U$提供更高层轮廓;
- sibling 提供同一局部的横向约束;
- path 告诉模型缺失发生在什么地址;
- $W$是已学习的世界模型或上下文状态;
- $G_\psi$是共享的 repair kernel。
随后执行 UNFOLD:
$
$ (\hat L,\hat R)=\operatorname{UNFOLD}(U,\hat D). $$
如果更低层仍有缺损,同一个过程继续递归:
剩余 root / parent
→ 预测当前缺失 detail
→ 恢复左右孩子的概率状态
→ 继续向更低层展开
→ 得到修复后的 H_state
→ decoder 继续生成
这里真正重要的不是 root 能不能翻译成一句缩句,而是 root 能不能成为修复过程的低分辨率边界条件。
7. 修复不一定等于逐 token 复原
假设原句是:
夏天的凉风吹过草原
如果“凉”已经完全丢失,仅凭剩余信息不能确定原文一定是“凉风”。它也可能是“微风”或“晚风”。
因此真实语言中的 repair kernel 不应该假装自己永远知道唯一答案,而应输出概率容器:
凉风 0.42
微风 0.31
晚风 0.09
其他 0.18
这对应两种不同的 Proof 口径。
7.1 有确定冗余的有限 Toy
数据生成规则保证缺失信息能由其他尺度唯一推出。此时可以要求 exact recovery。
7.2 真实语言
信息可能不可逆地丢失。此时应评价:
- 原 token 的 NLL 是否下降;
- 事件和关系是否保持一致;
- 修复分布是否校准;
- 后续生成能力是否恢复;
- 损伤逐渐扩大时,质量是否平滑下降。
TreeHeap 修复的是“与剩余结构一致的可能细节”,不一定是历史上唯一发生过的原始字符串。
8. 哲学上的不完整与生长
Houming818 提出了本文的哲学背景:
如何知道此刻的意识是完整的?也许下一刻要说的话,就是一种自然缺失的生长。因为自我的不完整,才有意识的波澜心生。
这不是意识已经被 TreeHeap 证明的科学结论,但它准确地区分了两种生成观。
第一种生成观认为:
完整答案已经存在
语言只是把它逐字读出来
第二种生成观认为:
当前只有不完整状态、记忆轮廓和世界约束
下一刻是在这些约束下生长出来
在第二种观点中,自我的连续性不一定来自全部细节始终在线,也可能来自一个稳定的修复协议:记忆、身体、语言和环境不断互相校验,使不完整状态能够继续生成自己。
但缺失本身不会自动产生意识。真正值得研究的是,系统能否:
- 表达“这里存在不确定性”;
- 保留多个可能,而不是过早假装确定;
- 从不同分辨率寻找约束;
- 用外部反馈修正修复结果;
- 让修复后的状态继续参与下一轮生成。
概率容器因此不只是 Beam Search 技巧,而是系统对自身不完整性的诚实表达。
9. 对抽水机的重新定义
SPR-060 的抽水机可以概括为:
FOLD:让预测信息到达高层
detail:保存没有上传的局部精度
UNFOLD:读取已经保存的细节
SPR-061 提议把它扩展为:
FOLD
→ 形成跨尺度轮廓与 addressed residual
DAMAGE
→ root、detail 或 subheap 局部缺失
REPAIR
→ 用剩余尺度、地址、世界模型形成缺失状态的概率桶
UNFOLD
→ 按概率递归展开细节
FEEDBACK
→ 用任务 Loss 与世界反馈修正 repair kernel
这并不要求高层保存可读摘要。它要求信息以跨尺度、相互约束的方式分布,使局部损坏不会立刻摧毁整体功能。
10. 待评审的 Claim
下一条 ARA 可以围绕以下主张建立:
在存在可学习跨尺度规律的数据中,TreeHeap 的 root、addressed detail、sibling 与 path 能形成联合修复条件;局部状态受损后,共享 repair kernel 能递归恢复显著比例的任务损失,并随着损伤扩大呈现平滑的分辨率退化,而不是立即失效。
这条 Claim 不声称:
- 修复结果必然逐 token 等于原文;
- root 是人类可读缩句;
- TreeHeap 已经具有意识;
- 任何随机数据都可以被修复;
- 分形数学已经成为 TreeHeap 的代数定义。
它只研究一个可证伪问题:TreeHeap 的多分辨率结构是否能提供普通单点消融之外的损伤修复能力。
11. 待评审的 Predict
P1:损伤必须真实发生
破坏目标 subheap 后,必须满足:
$
$ L_{\text{damaged}}>L_{\text{clean}}. $$
否则可能只是模型从未使用该位置,不能称为修复。
P2:修复必须带来收益
运行 repair kernel 后:
$
$ L_{\text{repaired}}并预注册最低修复率
$\rho$。
P3:修复必须使用跨尺度信息
分别消融 root、sibling、path 和世界上下文。完整修复条件应优于只看同层邻居的基线。
P4:地址必须有贡献
使用错误 path 或交换 sibling 地址后,修复质量应下降。否则 repair kernel 仍然可能退化成无序 Bag 补全。
P5:退化必须平滑
随着损伤范围从一个 detail 扩大到一个 subheap,再扩大到多个深度,质量应逐渐下降,而不是在某个很小损伤下突然崩溃。
P6:歧义必须被概率表达
对于不能唯一复原的真实语言,正确候选应获得更高概率,但模型不应伪造接近 1.0 的确定性。需要评价 NLL、校准误差和候选覆盖率。
P7:必须对比非 TreeHeap 修复
至少比较:
- 均值池化状态;
- flat bottleneck;
- 只看左右窗口的 MLP;
- 相同参数量的序列修复模型;
- 不使用 path 的 TreeHeap ablation。
否则只能证明一般生成模型会补全,不能证明 TreeHeap 的跨尺度结构提供了额外条件。
12. Proof 应该分成两级
Proof A:有限可恢复世界
构造一个确实存在跨尺度冗余的 Toy。缺失内容由 parent、sibling 和 path 联合决定,任何单一来源都不足以恢复。
这个 Toy 首先回答数学问题:
当恢复所需规律确实存在时,共享 TreeHeap repair kernel 能否从窄深度学习,并递归外推到更深的树?
必须加入 lookup table、flat MLP 和不带地址的基线,防止把答案直接写进特征。
Proof B:真实中文损伤修复
使用完整真实句子写入 TreeHeap,再对内部状态而不是原始字符串施加损伤:
detail erasure
subheap erasure
single-depth erasure
cross-depth burst damage
wrong-address transplantation
先测受损 NLL,再运行有限轮数的 repair kernel,最后测修复 NLL、生成质量和概率校准。
真实实验不要求还原唯一原句,而要求恢复与剩余上下文一致的语言能力,并比较不同损伤强度下的修复曲线。
13. 当前航行位置
截至本文,证据支持的是:
分辨率训练
→ 高层获得预测能力
尚未支持的是:
内容级价值竞争
→ 重要关系被选择性上传
→ 跨尺度状态相互约束
→ 局部损伤后递归修复
因此下一步不应继续只比较 root zero 或 detail zero 的一次性 Loss。消融仍然必要,但它只负责确认“损伤真实发生”。核心指标必须变成:
$
$ \text{Damage}\rightarrow\text{Repair}\rightarrow\text{Recovered capability}. $$
TreeHeap 真正值得追求的,也许不是一个永不缺失的完美容器,而是一种能够在缺失中继续生长的结构。
这就是 SPR-061 保存的新研究起点。
参考线索
- Stéphane Mallat, A Theory for Multiresolution Signal Decomposition: The Wavelet Representation, 1989:多分辨率近似与尺度之间的 detail 分解。
- Michael Barnsley 等关于 Iterated Function Systems 的工作:用生成变换描述复杂图像,并从规则迭代重建。本文只借用能力类比,不据此宣称 TreeHeap 是分形。