TreeHeap 损伤后的生长:从消融因果走向跨分辨率修复

SPR-060 提出了一个直观例子:

夏天的凉风吹过一望无际的青青草原
→ 夏天的凉风吹过草原
→ 风吹过草原

这个例子帮助我们想象“分辨率逐层降低”,但它也悄悄越过了证据边界:它把不可读的内部向量理想化成了人类可读的缩句。

Houming818 对此持保留意见。当前实验只证明了高层状态可以参与未来预测,没有证明高层真的保存了“风吹过草原”这样的语言轮廓。

这次讨论带来了更重要的修正:

TreeHeap 的目标不应只是证明 root 或 detail 保存了信息,而应研究:当部分信息自然缺失时,剩余的多分辨率结构能否约束缺失部分,使它重新生长出来。

本文先记录这一思想,不把它冒充成已经成立的实验结论。文末给出供评审的 ARA、Predict 和 Proof 草案;正式实验将在理论口径确认后再启动。


1. 守夜实验到底证明了什么

上一轮守夜实验使用完整的 64 token 中文历史预测后续 16 token,没有先做 Mask。相同模型分别采用三种分辨率训练课程:

训练方式 root NLL leaf NLL 含义
只训练叶层 35.8732 5.3615 信息不会自动上传,root 被模型放弃
均匀训练七个深度 5.7158 5.4870 所有分辨率都可以获得预测能力
由叶向 root 退火 5.6240 5.5624 退火使 root 比均匀训练改善 0.0918

退火模型的 root 与 leaf 只相差 0.0603 NLL,七个分辨率的 NLL 与深度呈有序关系,Spearman 相关系数为 -0.75。

这支持一个有限结论:

在容量逐层收窄的 TreeHeap 中,训练压力能够使较高层状态获得未来预测能力。

但结构审计没有通过:

干预 root NLL 变化
用其他样本替换 source +0.0852
FOLD 前交换相邻左右孩子 -0.0011

这意味着当前 root 可能主要保存语料平均统计、主题或常见后续,而不是这一个样本的具体关系。它还不能被解释成一条“内部缩句”。

受控 Toy 中,未来由三个核心 token 决定,另外十三个 token 是独立噪声。TreeHeap 确实能把核心信息抽进 root:打乱核心造成超过 16 NLL 的损失,打乱噪声几乎没有影响。不过 mean pooling 也能完成任务,所以这还不是 TreeHeap 特有的胜利。


2. 第一处修正:上层状态不等于缩句

我们不再假设:

root = 风吹过草原

更严谨的说法是:

叶层:容量较大,包含较多局部状态
高层:容量较小,但仍包含某些预测信息
root:一个不可读的低分辨率状态

root 可能包含事件轮廓,也可能包含主题、文体、词频偏置或其他统计捷径。内部编码可以是 encoder 与 decoder 共同形成的私有协议,人类不一定能直接翻译成一句话。

因此,“高层 NLL 较低”只能证明高层可用于预测,不能单独证明高层理解了句子。


3. 第二处修正:当前抽水机没有内容级价值判断

当前退火实验只调度“在哪个深度读取”:

训练早期:更多读取叶层
训练后期:更多读取高层

它没有在一次 FOLD 内判断:

保留左边?
保留右边?
保留二者关系?
上传当前轮廓?
把什么留在 detail?

Houming818 从自我观察提出了另一种可能:

回溯一个句子或一个刹那时,意识可能先出现一个相关性最高的轮廓,然后围绕这个轮廓构造细节。它不是机械地抽取“必然信息”,而是在当前背景下判断什么最重要。

若把这个猜想转换成数学语言,每个局部节点应产生一个价值概率桶。设当前查询或背景为

$q$

,局部状态为

$H_{\text{local}}$

,候选处理方式为

$a$

$

$ s_a=K_\theta(q,H_{\text{local}},a). $

$

$

$ p(a)=\operatorname{softmax}\left(\frac{s_a}{\tau}\right). $

$

候选

$a$

可以包括保留左侧、保留右侧、合成关系、停止收缩等操作。训练阶段先保持软分布:

$

$ H_{\text{parent}}=\sum_a p(a)\,T_a(H_{\text{local}}). $

$

温度下降以后,分布才可能接近:

$

$ a^*=\arg\max_a s_a. $

$

这里的“重要”不是人工语法标签,而是反事实价值:

$

$ V(a)=\mathcal L_{\text{without }a}-\mathcal L_{\text{with }a}. $

$

去掉某部分后任务 Loss 增加得越多,它在当前背景下的上传价值越高。

但必须明确:现有实验没有实现也没有证明这个内容级 argmax。它只是下一阶段可能需要的机制。


4. 从分形观察到的不是外形,而是损伤后的恢复

本文不打算把分形公式设计进 TreeHeap。

我们只是观察分形压缩和自相似生成表现出的一种能力:系统不保存每一个细节,而保存能够约束细节的规律;观察分辨率降低以后,整体形态仍然存在,需要时可以从规则递归展开。

严格来说,数学分形本身不等于可损压缩。这里借用的是“分形压缩与跨尺度重建”的能力类比,而不是宣称 TreeHeap 已经是分形。

这个类比把研究问题从:

拿掉一个节点,Loss 增加多少?

推进为:

拿掉一个节点以后,
TreeHeap 能否根据其他尺度和位置重新生成它?

这是两个完全不同的问题。


5. 因果消融为什么不等于修复能力

当前审计采用:

$

$ \Delta L_{\text{ablation}}=L_{\text{damaged}}-L_{\text{clean}}. $

$

$\Delta L$

很大,我们知道模型依赖被消融状态。但这也可能意味着系统非常脆弱:一个节点损坏,整体立刻失效。

$\Delta L$

很小,也有两种解释:

  1. 模型从未使用这个节点;
  2. 其他节点包含冗余,能够替代它。

只看消融损失无法区分二者。

因此下一阶段必须把三个状态分开:

$

$ L_{\text{clean}},\qquad L_{\text{damaged}},\qquad L_{\text{repaired}}. $

$

  • $L_{\text{clean}}$:完整 TreeHeap 的任务损失;
  • $L_{\text{damaged}}$:破坏局部状态后、尚未修复的损失;
  • $L_{\text{repaired}}$:运行修复 kernel 后的损失。

定义修复率:

$

$ \rho=\frac{L_{\text{damaged}}-L_{\text{repaired}}}{L_{\text{damaged}}-L_{\text{clean}}+\epsilon}. $

$

修复率 含义
$\rho=0$ 没有修回任何损失
$\rho=0.5$ 修复了一半损失
$\rho=1$ 回到完整状态的任务水平

这条曲线才是“可损后生长”的直接评价。


6. TreeHeap 可以怎样重新长出 detail

现有 learned lifting FOLD 写成:

$

$ D=R-P_\theta(L). $

$

$

$ U=L+A_\phi(D). $

$

其中

$U$

是上传的粗状态,

$D$

是留在当前地址的 detail。完整的 root 与所有 addressed detail 仍然构成闭合的

$H_{\text{state}}$

当某个 detail 损坏时,旧做法是清零并直接观察 Loss。新的做法需要先预测缺失残差:

$

$ \hat D=G_\psi\left(U,\,H_{\text{sibling}},\,\text{path},\,W\right). $

$

其中:

  • $U$提供更高层轮廓;
  • sibling 提供同一局部的横向约束;
  • path 告诉模型缺失发生在什么地址;
  • $W$是已学习的世界模型或上下文状态;
  • $G_\psi$是共享的 repair kernel。

随后执行 UNFOLD:

$

$ (\hat L,\hat R)=\operatorname{UNFOLD}(U,\hat D). $

$

如果更低层仍有缺损,同一个过程继续递归:

剩余 root / parent
    → 预测当前缺失 detail
    → 恢复左右孩子的概率状态
    → 继续向更低层展开
    → 得到修复后的 H_state
    → decoder 继续生成

这里真正重要的不是 root 能不能翻译成一句缩句,而是 root 能不能成为修复过程的低分辨率边界条件。


7. 修复不一定等于逐 token 复原

假设原句是:

夏天的凉风吹过草原

如果“凉”已经完全丢失,仅凭剩余信息不能确定原文一定是“凉风”。它也可能是“微风”或“晚风”。

因此真实语言中的 repair kernel 不应该假装自己永远知道唯一答案,而应输出概率容器:

凉风  0.42
微风  0.31
晚风  0.09
其他  0.18

这对应两种不同的 Proof 口径。

7.1 有确定冗余的有限 Toy

数据生成规则保证缺失信息能由其他尺度唯一推出。此时可以要求 exact recovery。

7.2 真实语言

信息可能不可逆地丢失。此时应评价:

  • 原 token 的 NLL 是否下降;
  • 事件和关系是否保持一致;
  • 修复分布是否校准;
  • 后续生成能力是否恢复;
  • 损伤逐渐扩大时,质量是否平滑下降。

TreeHeap 修复的是“与剩余结构一致的可能细节”,不一定是历史上唯一发生过的原始字符串。


8. 哲学上的不完整与生长

Houming818 提出了本文的哲学背景:

如何知道此刻的意识是完整的?也许下一刻要说的话,就是一种自然缺失的生长。因为自我的不完整,才有意识的波澜心生。

这不是意识已经被 TreeHeap 证明的科学结论,但它准确地区分了两种生成观。

第一种生成观认为:

完整答案已经存在
语言只是把它逐字读出来

第二种生成观认为:

当前只有不完整状态、记忆轮廓和世界约束
下一刻是在这些约束下生长出来

在第二种观点中,自我的连续性不一定来自全部细节始终在线,也可能来自一个稳定的修复协议:记忆、身体、语言和环境不断互相校验,使不完整状态能够继续生成自己。

但缺失本身不会自动产生意识。真正值得研究的是,系统能否:

  1. 表达“这里存在不确定性”;
  2. 保留多个可能,而不是过早假装确定;
  3. 从不同分辨率寻找约束;
  4. 用外部反馈修正修复结果;
  5. 让修复后的状态继续参与下一轮生成。

概率容器因此不只是 Beam Search 技巧,而是系统对自身不完整性的诚实表达。


9. 对抽水机的重新定义

SPR-060 的抽水机可以概括为:

FOLD:让预测信息到达高层
detail:保存没有上传的局部精度
UNFOLD:读取已经保存的细节

SPR-061 提议把它扩展为:

FOLD
    → 形成跨尺度轮廓与 addressed residual

DAMAGE
    → root、detail 或 subheap 局部缺失

REPAIR
    → 用剩余尺度、地址、世界模型形成缺失状态的概率桶

UNFOLD
    → 按概率递归展开细节

FEEDBACK
    → 用任务 Loss 与世界反馈修正 repair kernel

这并不要求高层保存可读摘要。它要求信息以跨尺度、相互约束的方式分布,使局部损坏不会立刻摧毁整体功能。


10. 待评审的 Claim

下一条 ARA 可以围绕以下主张建立:

在存在可学习跨尺度规律的数据中,TreeHeap 的 root、addressed detail、sibling 与 path 能形成联合修复条件;局部状态受损后,共享 repair kernel 能递归恢复显著比例的任务损失,并随着损伤扩大呈现平滑的分辨率退化,而不是立即失效。

这条 Claim 不声称:

  • 修复结果必然逐 token 等于原文;
  • root 是人类可读缩句;
  • TreeHeap 已经具有意识;
  • 任何随机数据都可以被修复;
  • 分形数学已经成为 TreeHeap 的代数定义。

它只研究一个可证伪问题:TreeHeap 的多分辨率结构是否能提供普通单点消融之外的损伤修复能力。


11. 待评审的 Predict

P1:损伤必须真实发生

破坏目标 subheap 后,必须满足:

$

$ L_{\text{damaged}}>L_{\text{clean}}. $

$

否则可能只是模型从未使用该位置,不能称为修复。

P2:修复必须带来收益

运行 repair kernel 后:

$

$ L_{\text{repaired}}$

并预注册最低修复率

$\rho$

P3:修复必须使用跨尺度信息

分别消融 root、sibling、path 和世界上下文。完整修复条件应优于只看同层邻居的基线。

P4:地址必须有贡献

使用错误 path 或交换 sibling 地址后,修复质量应下降。否则 repair kernel 仍然可能退化成无序 Bag 补全。

P5:退化必须平滑

随着损伤范围从一个 detail 扩大到一个 subheap,再扩大到多个深度,质量应逐渐下降,而不是在某个很小损伤下突然崩溃。

P6:歧义必须被概率表达

对于不能唯一复原的真实语言,正确候选应获得更高概率,但模型不应伪造接近 1.0 的确定性。需要评价 NLL、校准误差和候选覆盖率。

P7:必须对比非 TreeHeap 修复

至少比较:

  • 均值池化状态;
  • flat bottleneck;
  • 只看左右窗口的 MLP;
  • 相同参数量的序列修复模型;
  • 不使用 path 的 TreeHeap ablation。

否则只能证明一般生成模型会补全,不能证明 TreeHeap 的跨尺度结构提供了额外条件。


12. Proof 应该分成两级

Proof A:有限可恢复世界

构造一个确实存在跨尺度冗余的 Toy。缺失内容由 parent、sibling 和 path 联合决定,任何单一来源都不足以恢复。

这个 Toy 首先回答数学问题:

当恢复所需规律确实存在时,共享 TreeHeap repair kernel 能否从窄深度学习,并递归外推到更深的树?

必须加入 lookup table、flat MLP 和不带地址的基线,防止把答案直接写进特征。

Proof B:真实中文损伤修复

使用完整真实句子写入 TreeHeap,再对内部状态而不是原始字符串施加损伤:

detail erasure
subheap erasure
single-depth erasure
cross-depth burst damage
wrong-address transplantation

先测受损 NLL,再运行有限轮数的 repair kernel,最后测修复 NLL、生成质量和概率校准。

真实实验不要求还原唯一原句,而要求恢复与剩余上下文一致的语言能力,并比较不同损伤强度下的修复曲线。


13. 当前航行位置

截至本文,证据支持的是:

分辨率训练
    → 高层获得预测能力

尚未支持的是:

内容级价值竞争
    → 重要关系被选择性上传
    → 跨尺度状态相互约束
    → 局部损伤后递归修复

因此下一步不应继续只比较 root zero 或 detail zero 的一次性 Loss。消融仍然必要,但它只负责确认“损伤真实发生”。核心指标必须变成:

$

$ \text{Damage}\rightarrow\text{Repair}\rightarrow\text{Recovered capability}. $

$

TreeHeap 真正值得追求的,也许不是一个永不缺失的完美容器,而是一种能够在缺失中继续生长的结构。

这就是 SPR-061 保存的新研究起点。


参考线索

  • Stéphane Mallat, A Theory for Multiresolution Signal Decomposition: The Wavelet Representation, 1989:多分辨率近似与尺度之间的 detail 分解。
  • Michael Barnsley 等关于 Iterated Function Systems 的工作:用生成变换描述复杂图像,并从规则迭代重建。本文只借用能力类比,不据此宣称 TreeHeap 是分形。