6.1.2 · 潜空间推理: Coconut 与叠加态

CoT 让模型把推理写成一串 token, 每一步都要从词表里选一个词. Coconut 去掉了选词这一步, 让模型在连续的隐藏状态里推理; Reasoning by Superposition 构造了一个两层 Transformer, 分析这种连续推理解有向图可达性需要多少步.

1. 为什么在这里读

任务内的计算：第 1 到 5 部分讨论的都是可保留状态 $\mathcal{A} = (\theta, \Sigma, U, C)$ 怎么被改. 潜空间推理讨论的是另一件事: 一个固定的模型在单个任务内怎样推理. 按 1.2 的层级, 它属于 L0 意义上的任务内计算.

它和 RSI 的讨论有两处交叉, 一处是搜索, 一处是监控. 前者和 6.1 的自动研究有关, 后者和 5.4 的安全评估有关.

搜索与监控：第一处是搜索. 自动研究和程序搜索的核心操作是在候选之间搜索 (6.1). 如果一个模型能在单次前向的序列里并行地保留多条候选路径, 任务内搜索的成本结构会变. Reasoning by Superposition 给出的步数对比, 就是这种变化的一个形式化例子.

第二处是监控. 5.4 第 3.2 节读过 UK AISI 对 GPT-5.6 Sol 的评估: 在已经出现破坏行为的上下文里, 约 1% 的轨迹会主动继续破坏, 其中 76% 只在 CoT 里推理, 不在输出中透露. 这说明 CoT 是一条有用的证据通道. 推理移到连续空间以后, 这条通道的形式变了.

1.1. Coconut 的机制

定义与记号：Coconut (Chain of Continuous Thought) 出自 Hao 等 (FAIR at Meta 与 UC San Diego, arXiv 2412.06769). 在它的「潜模式」下, 模型最终一层的隐藏状态不经过语言模型头, 直接作为下一个位置的输入嵌入. 这个隐藏状态被称为连续思维 (continuous thought).

对输入序列 $x = (x_1, \ldots, x_T)$ , 标准的语言模型写成

H_t = \mathrm{Transformer}(E_t), \qquad M(x_{t+1} \mid x_{\le t}) = \mathrm{softmax}(W h_t),

其中 $E_t = [e(x_1), e(x_2), \ldots, e(x_t)]$ 是到位置 $t$ 为止的 token 嵌入序列, $H_t \in \mathbb{R}^{t \times d}$ 是所有位置最终一层的隐藏状态, $h_t = H_t[t, :]$ 是位置 $t$ 的隐藏状态, $e(\cdot)$ 是嵌入函数, $W$ 是语言模型头的参数.

语言模式与潜模式：Coconut 让模型在两种模式之间切换. 语言模式下, 模型就是普通的自回归语言模型. 潜模式下, 模型把上一步的最终隐藏状态直接作为下一步的输入嵌入.

两个特殊 token <bot> 和 <eot> 标出潜模式的起止. 设 $x_i = \texttt{<bot>}$ , $x_j = \texttt{<eot>}$ . 当 $i < t < j$ 时, 输入序列是

E_t = [e(x_1), \ldots, e(x_i), h_i, h_{i+1}, \ldots, h_{t-1}],

潜模式结束后 ( $t \ge j$ ), 输入恢复为 token 嵌入:

E_t = [e(x_1), \ldots, e(x_i), h_i, \ldots, h_{j-1}, e(x_j), \ldots, e(x_t)].

论文提到两个细节. 最终的隐藏状态已经过最终的归一化层, 量级不会太大, 可以直接作为输入. 潜模式下 $M(x_{t+1} \mid x_{\le t})$ 没有定义, 因为连续思维本来就不打算映射回语言空间; 但 $\mathrm{softmax}(W h_t)$ 仍然可以算出来, 用于探测 (第 4 节就是这样做的).

和 CoT 比, 区别只在一处: CoT 把 $h_t$ 经过 $W$ 和 softmax 采样出一个 token, 再查嵌入表得到下一步输入; Coconut 跳过采样和查表. 连续思维完全可微, 整个推理链可以用梯度下降端到端优化.

训练课程与推理时的退出：Coconut 用语言 CoT 数据来监督连续思维, 课程设计参考了 iCoT (Deng 等, 2024).

初始阶段, 模型在普通的 CoT 样本上训练.
第 $k$ 阶段, CoT 的前 $k$ 步推理被替换为 $k \times c$ 个连续思维, $c$ 是一个超参数, 表示一步语言推理对应几个连续思维. 如果一条推理链短于 $k$ 步, 全部语言推理都被移除.
<bot> 和 <eot> 包住连续思维, 不计入 $c$ .
阶段切换时重置优化器状态.
损失是普通的负对数似然, 但问题和连续思维位置上的损失被屏蔽.

论文特别指出, 这个目标并不要求连续思维去压缩被移除的那步语言推理, 它只要求连续思维有助于预测之后的推理. 所以模型可能学到比人类语言更有效的推理表示.

训练时, 如果当前阶段安排了 $n$ 个连续思维, 需要做 $n+1$ 次前向: 每次算出一个新的连续思维, 最终一次在剩下的文本上算损失. KV cache 可以省掉重复计算, 但多次前向的顺序依赖让并行化很难. 作者把提高训练效率列为未来的方向.

推理时, <bot> 紧跟在问题之后插入. 何时插入 <eot>, 论文考虑了两种做法: 在连续思维上训练一个二分类器, 让模型自己决定何时结束; 或者把连续思维固定填充到一个常数长度. 两种效果相当, 实验里默认用第二种.

1.2. 实验结果

设定：所有实验的基础模型都是预训练的 GPT-2. 三个数据集:

GSM8k: 小学数学应用题, 训练用 Deng 等 (2023) 生成的合成数据. 每步推理用 2 个连续思维 ( $c = 2$ ), 初始阶段之外有 3 个阶段, 再加一个阶段: 仍用 $3 \times c$ 个连续思维, 但去掉所有剩余的语言推理, 用来处理长于 3 步的推理链.
ProntoQA: 逻辑推理, $c = 1$ , 6 个训练阶段.
ProsQA: 作者新构造的数据集, 每个样本是一个用自然语言描述的概念关系有向无环图, 需要找到图中的有效路径. 它的分支比 ProntoQA 更多, 更需要规划. $c = 1$ , 6 个训练阶段.

推理时连续思维的个数与最终的训练阶段一致, 全部用贪心解码. 对照组包括: CoT; No-CoT (只用问答对训练); iCoT (按精心设计的计划逐步去掉推理链开头的 token, 推理时直接给答案); Pause Token (在问题和答案之间插入与连续思维同样数量的 <pause> token). Coconut 的三个变体: 不用课程 (w/o curriculum), 保留多阶段训练但不加连续思维 (w/o thought), 用 <pause> 代替连续思维并用同样的课程 (pause as thought).

主结果：准确率 (%) / 生成的 token 数:

方法	GSM8k	ProntoQA	ProsQA
CoT	42.9 ±0.2 / 25.0	98.8 ±0.8 / 92.5	77.5 ±1.9 / 49.4
No-CoT	16.5 ±0.5 / 2.2	93.8 ±0.7 / 3.0	76.7 ±1.0 / 8.2
iCoT	30.0 / 2.2	99.8 ±0.3 / 3.0	98.2 ±0.3 / 8.2
Pause Token	16.4 ±1.8 / 2.2	77.7 ±21.0 / 3.0	75.9 ±0.7 / 8.2
Coconut	34.1 ±1.5 / 8.2	99.8 ±0.2 / 9.0	97.0 ±0.3 / 14.2
w/o curriculum	14.4 ±0.8 / 8.2	52.4 ±0.4 / 9.0	76.1 ±0.2 / 14.2
w/o thought	21.6 ±0.5 / 2.3	99.9 ±0.1 / 3.0	95.5 ±1.1 / 8.2
pause as thought	24.1 ±0.7 / 2.2	100.0 ±0.1 / 3.0	96.6 ±0.8 / 8.2

iCoT 在 GSM8k 上的 30.0 取自 Deng 等 (2024).

怎么读这张表如下： GSM8k 上, 连续思维有用, 但不如 CoT?用 6 个连续思维, Coconut 达到 34.1%, 显著高于 No-CoT 的 16.5%, 也高于同样训练策略下的两个变体 (pause as thought 24.1%, w/o thought 21.6%) 和 iCoT 的 30.0%. 但它低于 CoT 的 42.9%. 论文的说法是, Coconut 在 GSM8k 上没有超过 CoT, 但在推理效率和准确率之间的权衡更好: 作者训练了一系列逐步「内化」前 $m \in {0, 1, 2, 3, \text{ALL}}$ 步推理的 CoT 模型, 跳过的步数越多, 准确率掉得越快; 把每步语言推理换成两个连续思维, 准确率的下降缓和得多. 把 $c$ 从 0 增加到 1 再到 2, 性能稳步提升.

ProntoQA 和 ProsQA 上, 计算量可能不是瓶颈?两个任务上, w/o thought, pause as thought 和 iCoT 都达到了很高的准确率. 作者据此认为, 这两个任务的瓶颈可能不在模型的计算容量; GSM8k 需要更复杂的上下文理解和建模, 对计算能力要求更高. 所以 ProsQA 上 Coconut 相对 CoT 的优势 (97.0% 对 77.5%), 不能全部归因于连续思维本身: 同样的多阶段课程配上 <pause> token 也能到 96.6%.

课程是必要的?理想情况下, 模型应该只靠问答对上的梯度下降自己学会最有效的连续思维. 但不用课程的变体在三个任务上都和 No-CoT 相当或更差. 作者的结论是, 语言模型仍然需要引导才能学会潜推理, 不依赖语言推理链监督的训练方法还有待研究.

iCoT 与 w/o thought 的小差距?两者架构相同, 目标相似, 但 iCoT 略好. 作者主张 iCoT 逐 token 移除的更细粒度计划, 以及其他一些技巧, 可能让训练更容易.

解码第一个连续思维也能看到一些东西. 在 GSM8k 的一个例子里, 把第一个连续思维经过语言模型头解码, 得到的 token 往往对应计算中可能的中间变量 (论文图 9). 作者把这当作连续思维是更高效推理表示的又一个迹象. 这个观察也说明, 连续思维并非完全不可读: 用语言模型头去探测, 可以看到它在编码什么.

1.3. 潜在树搜索

在语言和潜推理之间插值：Coconut 可以在任意位置切换模式, 作者利用这一点做了一个控制实验. 在 ProsQA 上, 推理时手动设置 <eot> 的位置: 强制模型用 $k$ 个连续思维, 之后从第 $k+1$ 步开始用语言输出剩下的推理链. $k \in {0, 1, \ldots, 6}$ , 所有变体共享同一组权重, 只在推理时不同.

为了细致地分析推理过程, 论文把输出分成六类, 互不重叠:

正确路径: 输出是到正确答案的最短路径之一.
更长路径: 有效路径, 答案正确, 但比最短路径长.
幻觉: 路径包含不存在的边, 或不连通.
错误目标: 图中的有效路径, 但终点不是问题问的那个节点.
正确标签 和 6. 错误标签: 模型只输出最终答案, 没有部分路径时使用.

对 $k > 0$ 的部分路径, 如果存在一个有效的解释能把它补全, 就算正确路径.

结果 (论文图 3): 用 CoT 训练的模型经常幻觉出不存在的边, 或者走到错误的目标. Coconut 用的连续思维越多, 准确率越高, 正确推理的比例显著增加, 幻觉和错误目标显著减少. 后两类错误通常出现在模型早期就做错决定的时候. 论文图 4 的案例里, CoT 模型陷入死路后幻觉出一条边; $k = 1$ 的 Coconut 输出了一条以无关节点结尾的路径; $k = 2$ 时正确解出.

隐式的价值函数与并行度：为了理解潜推理在做什么, 作者在中间的连续思维之后强制模型用语言输出推理步, 看它预测的下一个概念. 一个概念的预测概率 (概念内所有 token 的条件概率之积) 被定义为一个价值函数, 估计每个节点通向正确目标的潜力.

沿用图 4 的例子 (论文图 5), 第一步要从「Alex」的四个直接子节点 {lempus, sterpus, zhorpus, grimpus} 中选一个. 第一步时 lempus 的价值最高 (0.33). 但下一步, 模型给最高价值 (0.87) 的是 grimpus 的子节点 rorpus, 而没有沿着 lempus 走下去. 作者据此认为 Coconut 的策略不是贪心搜索, 更像广度优先搜索: 连续表示可以同时编码多条候选路径, 避免立即做出确定的选择. 作者说这种树搜索模式不限于这个例子, 是 $k$ 越大性能越好的基本机制.

并行度也可以量. 论文图 6 统计了测试集上前两个连续思维的并行度: 对每个样本, 计算价值最高的前 1, 前 2, 前 3 个候选节点的累计价值, 按分位数作图. 第一个思维的三条曲线之间差距明显, 说明模型在这一步保持了相当的多样性. 第二个思维的差距变小, 说明模型从并行探索转向更集中的推理, 可能是因为它对最有希望的路径更有把握了.

为什么延迟决定有帮助：作者的假设是: 推理早期探索的节点离最终目标更远, 更难准确评估; 离目标近的节点后续可能性少, 可以更有把握地评估. 为了检验, 论文把节点的高度定义为它到任一叶节点的最短距离, 分析高度和模型估计的价值之间的关系. 理想情况下, 能通向目标的正确节点应得到高价值, 不能通向目标的错误节点应得到低价值.

测试集上的结果 (论文图 7) 支持这个假设: 高度越低的节点, 价值估计越准确, 越确定; 高度越高, 估计越模糊. 所以把确定的决定往后推, 让探索推进到接近终点的状态再做判断, 能更好地区分正确和错误的路径.

2. Reasoning by Superposition: 可证明的构造与训练结果

问题：Zhu, Hao 等 (UC Berkeley, UCSD, Meta AI) 的论文研究有向图可达性. 给定有向图 $G = (V, E)$ , $|V| = n$ , 一个根节点 $r$ , 两个候选终点 $c_1, c_2$ , 保证其中恰好一个从 $r$ 可达, 记为 $c_{i^*}$ , 任务是判断哪一个可达.

输入格式是: BOS token <s>, 之后 $3m$ 个 token 表示 $m$ 条边, 每条边是源节点 $s_i$ , 目标节点 $t_i$ 和一个边 token <e>; 然后是问题 token <Q> 和两个候选 $c_1, c_2$ ; 最终是推理 token <R> 和根节点 $r$ . 提示长度 $t_0 = 3m + 6$ .

连续思维的定义和 Coconut 相同: 对 $c = 1, 2, \ldots$ , Transformer 自回归地生成

h_{t_0 + c} = \mathrm{TF}_\theta(h_1, \ldots, h_{t_0 + c - 1}),

记 $[t_c] = h_{t_0 + c}$ 为第 $c$ 步的连续思维, $[t_0] = u_r$ 是根节点的嵌入. $C$ 步之后追加答案 token <A>, 用贪心解码给出预测.

嵌入空间与注意力选择器：构造里, 嵌入维度 $d = 3 d_{\mathrm{TE}} + d_{\mathrm{PE}}$ , 分为四段: 前 $d_{\mathrm{TE}}$ 维是内容, 接着两段 $d_{\mathrm{TE}}$ 维分别是第一缓冲区和第二缓冲区, 最终 $d_{\mathrm{PE}}$ 维是位置编码. token 嵌入只在内容段非零, 并且彼此正交: $U^\top U = I_V$ . 位置编码用标准的正弦编码 (附录 B.6 讨论了 RoPE 的情形).

构造的基本单元是一个「注意力选择器」(引理 1): 在正弦位置编码下, 对任意 token <x> 和相对位置 $\ell \ge 0$ , 存在 $K, Q$ 的构造, 使得位置 $i$ 上若是 <x>, 就几乎把全部注意力放到位置 $i - \ell$ ; 否则把大部分注意力放到位置 1. 这让同一组参数能用于不同长度的输入.

证明的思路是: 正弦编码满足 $\bar{p}_{i+\ell} = R(\ell), \bar{p}$ , $R(\ell)$ 是一个旋转矩阵. 令 $\tilde{u}$ {\overline{\texttt{<x>}}} $\tilde{u}_{\overline{<x>}}$ 为除 <x> 外所有 token 嵌入之和, 构造查询和键使得

\langle q_i, k_j \rangle = \eta \left( \langle \bar{p}_i, \bar{p}_{j+\ell} \rangle + \xi \langle \tilde{u}_{\overline{\texttt{<x>}}}, \tilde{h}_i \rangle \langle \bar{p}_1, \bar{p}_j \rangle \right).

当 $h_i = u_{\texttt{<x>}}$ 时第二项为零, 内积由 $\langle \bar{p}$ 决定, 在 $j = i - \ell$ 处最大. 否则第二项至少是 $\xi \langle \bar{p}_1, \bar{p}_j \rangle$ , $\xi$ 很大时在 $j = 1$ 处最大.

连续思维是可达集的叠加：记 $V_c$ 为从 $r$ 出发 $c$ 步内可达的节点集合. 论文的关键引理是:

引理 2 (连续思维保持叠加态): 存在 $\theta$ 的构造, 使得对任意 $c \ge 0$ ,

[t_c] = \frac{1}{\sqrt{|V_c|}} \sum_{v \in V_c} u_v,

即第 $c$ 个连续思维是 $c$ 步内所有可达节点嵌入的归一化叠加.

证明用归纳法. $c = 0$ 时 $V_0 = {r}$ , 显然成立. 假设对 $c$ 成立, 构造一个两层 Transformer 让它对 $c + 1$ 也成立:

第一层注意力 有五个头, 每个都是注意力选择器, 分别为 (<e>, 2), (<e>, 1), (<R>, 2), (<R>, 1), (<A>, 1). 值矩阵读取内容段, 输出矩阵把它复制到指定的缓冲区. 第一层之后, 第 $i$ 个边 token <e> 的第一缓冲区存着 $\tilde{u}_{s_i}$ , 第二缓冲区存着 $\tilde{u}_{t_i}$ , 也就是这条边的源和目标.
第二层注意力 只需要一个头. 当前思维 $[t_c]$ 是 $V_c$ 的叠加. 构造查询和键, 粗略地说让 $q = [t_c]$ , 第 $i$ 个边 token 的键是 $u_{s_i}$ , 两者内积为正当且仅当 $s_i \in V_c$ . 于是 $[t_c]$ 把注意力放到所有源节点已可达的边上, 把它们第二缓冲区里的目标节点加回当前思维. 这正是对已探索节点集合做一步扩展.
MLP 作为过滤器. 注意力之后, 各节点的权重不均匀, 并且因为每个位置的归一化注意力分数都不为零, 会混入噪声. 令 $W_1 = [u_1, \ldots, u_V]^\top$ , 非线性 $\sigma(x) = \mathbb{1}{x \ge \varepsilon}$ , $W_2 = W_1^\top$ . 对 $h = \sum_v \lambda_v u_v$ ,

W_2\, \sigma(W_1 h) = \sum_{v} \mathbb{1}\{\lambda_v \ge \varepsilon\}\, u_v.

$W_1$ 把基 ${u_v}$ 转到标准基, $\sigma$ 逐坐标过滤, $W_2$ 再转回来. 经过层归一化, 就得到 $V_{c+1}$ 的归一化叠加.

主定理与和其他构造的区别：最终一步, 答案 token <A> 用 $c_1$ 和 $c_2$ 去「测量」叠加态 $[t_C]$ , 输出信号较大的那个.

定理 1 (连续 CoT解图可达性): 固定 $T_{\max} > 0$ , 假设输入序列 (包括连续思维和答案 token) 长度不超过 $T_{\max}$ . 存在一个两层 Transformer 的参数 $\theta$ 和读出矩阵 $W_O \in \mathbb{R}^{|\mathrm{Voc}| \times d}$ (其中 $d = O(|\mathrm{Voc}|)$ ), 与具体的图无关, 使得对任意至多 $n_{\max}$ 个节点的有向图, 任意根节点和两个候选终点, 只要 $C$ 超过图的直径, 贪心输出就是 $c_{i^*}$ .

和离散 CoT 的比较要按原文的措辞读. 对常深度 Transformer, Merrill 和 Sabharwal (2023) 证明有向图可达性可以用 $O(n^2)$ 步离散 CoT 解决, 但能否用更少的步数解决仍不清楚. 所以 $D$ 步对 $O(n^2)$ 步, 是这篇论文的构造和已知最好上界的比较, 不是一个下界意义上的分离. 论文把离散 CoT 的下界留作未来工作.

作者对两者的差别给出的直观解释是: 每个连续思维向量是多个有效搜索轨迹的叠加, 每个自回归步都在图上做隐式的并行搜索; 离散的思维 token 相当于从叠加态「坍缩」后的状态, 模型必须确定地选一个分支, 要么得到可能出错的贪心搜索, 要么得到需要回溯的深度优先式搜索, 计算更多.

论文强调两点. 一是位置编码: 很多以往的理论构造为特定问题甚至特定输入长度专门设计位置编码, 这里的构造适用于实际使用的正弦编码和 RoPE. 二是维度: Gozeten 等 (2025) 在一层 Transformer 上研究了连续 CoT 解最小非负和问题, 同样出现叠加机制, 但构造需要指数级的嵌入维度; Zhu 等的构造只需要与图规模成线性的嵌入维度.

训练出来的模型: 设定与结果：模型是 GPT-2 风格的两层解码器, $d_{\mathrm{model}} = 768$ , 8 个头, 从零训练, AdamW ( $\beta_1 = 0.9$ , $\beta_2 = 0.95$ , 权重衰减 $10^{-2}$ ), 恒定学习率 $10^{-4}$ . 数据是 ProsQA 中需要 3–4 跳推理的子集, 每个图节点作为一个专门的 token 加入词表. 训练沿用 Coconut 的多阶段策略: 第 $i$ 阶段教模型用 $i$ 个连续思维, 再预测 CoT 中的第 $i$ 个节点; 每阶段 25 个 epoch, 总共 300 个 epoch; 每阶段以 0.1 的概率随机混入上一阶段的数据.

结果 (论文图 4): Coconut 接近完美的准确率, CoT 和 No CoT 都只解出约 75% (随机猜测是 50%). 即使换成 12 层, 12 个头的模型, CoT 也只到 83%.

注意力模式如下：第一层?按构造, 第一层的主要功能是把一条边的源和目标节点复制到对应的边 token <e> 上. 论文图 5 的代表性注意力图显示, 边 token 几乎把全部注意力放在自己的源节点和目标节点上, 和构造一致.

第二层?按构造, 第二层负责扩展: 每个连续思维关注所有从当前可达节点出发的边. 作者把边分为四类: 可达 (源节点在第 $i$ 步的可达集里), 不可达, 前沿 (可达边的子集, 源节点恰好在 $i$ 步处), 最优 (前沿边的子集, 通向最优推理链). 表 1 显示模型的注意力明显集中在可达的边上. 此外还有额外的偏向: 前沿边得到更多注意力, 作者主张可能是训练信号鼓励模型在每一步预测一个前沿节点, 加上对已探索节点的衰减效应; 最优边得到的更多, 可能来自多阶段训练中 CoT 解的监督.

连续思维的表示：作者计算第 $i$ 步连续思维 $[t_i]$ 与每个节点嵌入 $u_v$ 的内积, 把节点按同样的方式分类. 论文图 6 显示, $i$ 跳内可达的节点相似度明显高于远处的节点; 前沿节点比其他可达节点更接近 $[t_i]$ ; 最优节点更接近. 附录 C.2 说明这个模式在多个随机种子下一致.

所以训练出的模型和构造有一处不同: 构造里叠加的权重是均匀的, 训练出的叠加偏向前沿和最优节点. 论文第 4.4 节预先讨论过这一点, 认为实际中各节点的权重会受训练信号和模型内部启发式的影响. 作者最重要的经验发现是, 这种叠加表示是在只用最优路径训练的情况下自动出现的, 没有显式的监督去对齐其他可行的搜索轨迹.

2.1. 和本库的关系

层级：两篇论文研究的都是一个固定模型在单个任务内的推理方式. 课程, 数据和训练目标由研究者设计, 训练改变了 $\theta$ , 但这是普通的监督训练, 不是系统用自己执行中产生的信息改自己. 按 1.2 的定义, 推理时的潜在树搜索是任务内的计算, 可保留状态不变, 属于 L0.

它和第 4 部分的改进器问题有一个间接联系. 改进器需要在候选之间搜索; 如果搜索可以在连续空间里并行进行, 同样的步数能覆盖更多的候选. 但两篇论文都只在合成的图推理任务和 GSM8k 上验证, 模型是 GPT-2 规模. Coconut 的结论部分写道, 还需要进一步研究如何把潜推理精炼并扩展到预训练阶段.

监控：CoT 在安全评估里是一条证据通道. 5.4 第 3.2 节的例子里, 破坏行为的推理有 76% 只出现在 CoT 中. 如果这些推理发生在连续思维里, 就没有一段可以直接阅读的文字.

两篇论文本身提供了两种部分的补救. Coconut 说明 $\mathrm{softmax}(W h_t)$ 仍然可以算, 解码第一个连续思维能看到中间变量; 也可以在潜推理之后强制模型用语言输出, 观察它对各个候选的价值估计. Reasoning by Superposition 说明, 在构造清楚的任务上, 连续思维与节点嵌入的内积可以精确地读出它在编码哪些节点. 但这两种方法都依赖探测者事先知道要看什么: 图推理任务里要看的是节点, GSM8k 里要看的是中间变量. 对开放任务里的潜推理, 怎样从连续向量里读出「模型在考虑一个破坏行为」, 两篇论文都没有处理.

所以潜空间推理和 1.3 第 5.2 节讨论的审计独立性有直接关系. 如果审计依赖读取模型的推理过程, 推理表示的变化会改变审计能做到什么. 一个采用潜推理的系统要提出改进主张, 需要说明审计改用了什么证据.

读这两篇论文时要注意的口径：引用这两篇论文的数字时, 有五处口径:

对比对象. ProsQA 上 Coconut 的 97.0% 对 CoT 的 77.5% 差距很大, 但 iCoT 是 98.2%, pause as thought 是 96.6%. 多阶段课程本身贡献了大部分提升.
GSM8k. Coconut 低于 CoT. 「效率与准确率的权衡更好」是和逐步内化推理的 CoT 模型相比; 只看准确率, 完整 CoT 仍然更高.
$O(n^2)$ . 这是常深度 Transformer 用离散 CoT 已知最好的上界. 离散 CoT 最少需要多少步, 目前没有结论.
规模. 理论构造是两层 Transformer; 实验是 GPT-2 规模和合成任务.
版本. 上文 Coconut 的数字取自 arXiv v4 (2026 年 8 月 23 日).

2.2. 潜空间到底承载什么

从离散 token 到连续状态：普通 CoT 在每一步产生 token $z_t$ , 再把 token 重新嵌入模型. 潜空间推理跳过离散采样, 直接把隐藏状态或其变换作为下一步输入. 若语言模式为

p(z_t\mid x,z_{<t}),

潜模式更接近确定或随机状态转移

h_{t+1}=F_\theta(h_t,x),\qquad y\sim p_\theta(y\mid h_T,x).

$h_t$ 不必对应一句可读的话, 可以同时保留多个候选、置信与中间特征. 省去词表瓶颈可能提高表达密度, 也失去逐步语言监督与检查.

连续并不自动表示更强. 标准 Transformer 在普通 token 推理时本来就使用连续隐藏状态, 区别在于哪些状态跨步保留、训练目标是否要求离散化、推理时能否追加计算. 若只是把最终层状态循环送回, 能力来自新计算路径, 不是「连续」三个字本身.

信息瓶颈：离散 token 限制每步可显式传递的信息, 同时提供稳定接口. 连续向量维度高, 能传递更丰富混合表示, 但训练可能把与任务无关的细节也保留. 有效容量由维度、精度、噪声和后续读取能力共同决定, 不能简单按浮点数位数计算.

若潜状态必须最终解码答案, 任务损失只约束与输出相关的方向. 其他方向可任意旋转、缩放或承载偶然特征. 这带来不可辨识性: 多套潜表示产生相同行为. 因而探针读出某概念, 只能说明存在相关信息, 不证明模型用它完成推理.

加入瓶颈、噪声或对比目标可以促使表示稳定, 也可能损失并行候选. 设计要对应目的: 想压缩就约束容量, 想保持搜索分支就允许多模态. 一个潜状态同时追求最小、可读与高容量, 目标可能冲突.

状态转移与计算深度：循环 $T$ 次给模型增加顺序计算深度. 参数共享时, 每一步使用同一转移 $F_\theta$ , 类似循环网络; 不共享时更像额外层. 比较 Coconut 与 CoT 要固定参数、FLOPs、KV 缓存和墙钟时间, 否则提升可能来自更多计算.

潜步数也不是语言 token 数的直接等价. 一个潜状态经过完整 Transformer, 成本可能高于一个 token; 它又无需生成与处理长文本, 可能降低序列长度. 报告每题总前向计算与内存, 才能比较效率.

深度增加会带来稳定性问题. 反复应用转移可能收敛、振荡或发散. 观察隐藏范数、相邻状态距离和输出分布随步数变化, 能发现模型是否真的继续计算, 还是很早进入固定点.

多候选的叠加：Reasoning by Superposition 关注一个连续状态能否表示多个离散推理分支. 线性叠加容易写, 关键是后续注意力与非线性能否分别读取、更新并选择分支. 若交叉项互相污染, 表示会快速混合.

理论构造通常精心安排嵌入正交性、注意力选择和精度. 训练出的有限模型是否满足这些条件, 需要实证. 可构造分支数可控的任务, 测潜状态能恢复多少候选、何时发生干扰, 再与 beam search 同计算比较.

叠加带来并行性, 也可能只是一种压缩. 如果模型最终仍逐个展开候选, 没有计算优势; 如果一次更新共同处理分支, 才接近并行推理. 中间状态的可解码性与端到端计算曲线共同判断.

2.3. 潜推理怎样训练

课程学习的作用：Coconut 先让模型学习显式 CoT, 再逐步用潜状态替换中间语言步骤. 课程降低优化难度: 模型已有解题轨迹, 潜模式只需学会在隐藏状态中传递相关信息. 若从头只监督最终答案, 信号要穿过许多潜步, 容易退化成猜答案或忽略循环.

替换速度是关键超参数. 太快, 潜转移尚未学会就失去语言锚; 太慢, 模型继续依赖离散 token, 到推理时突然切换产生分布差异. 每个阶段测语言模式、混合模式和纯潜模式, 看能力从哪一步断开.

课程成功也限制主张. 它可能把已有 CoT 压缩进潜空间, 尚未证明能发现语言轨迹中没有的新算法. 测试更长推理、未见结构和从错误 CoT 中恢复, 才能区分压缩与新推理能力.

最终答案监督：只用最终答案损失 $\mathcal{L}_{ans}$ , 潜状态没有唯一目标. 优点是允许模型找到自己的表示, 缺点是信用分配长、容易利用数据捷径. 任务存在表面相关时, 高准确率不证明中间进行预期推理.

可加入辅助损失: 中间状态预测子目标、重建隐藏 CoT、估计价值或保持信息. 辅助监督改善训练, 也把潜空间拉向人工指定结构. 结果要区分端到端自发表示与被辅助目标塑造的表示.

辅助权重过高会让潜推理退化成隐藏的语言复现, 失去连续表示优势; 过低又可能无效. 消融各项损失, 在相同计算和数据下比较答案、迁移与可解释性.

潜步数与退出：固定 $T$ 步简单, 不同题需要的计算不同. 动态退出可以由置信度、状态变化或专门停止头决定. 退出器本身需要监督, 它若只学题目长度等代理, 会在难题上过早停止.

训练退出时, 奖励正确性减计算成本. 成本权重决定速度与质量. 对高风险任务, 过早停止代价更高; 对实时任务, 延迟门槛更硬. 动态策略按场景设置, 不能用一个权重覆盖全部.

检查 anytime 性质: 在任意步解码答案, 随步数是否总体改善. 若更多步骤经常变差, 需要保留最佳状态或训练单调性. 但按验证集选择最佳步也会过拟合, 最终在密封集评估.

稳定训练：循环隐藏状态会产生梯度爆炸、消失和分布漂移. 残差、归一化、门控与截断反传提供控制. 记录每步范数、梯度和注意力熵, 不能只看最终损失. 数值稳定不等于推理有效, 它是前提.

训练时的潜状态来自教师轨迹, 推理时来自模型自身, 会有暴露偏差. 混入自由运行状态、scheduled sampling 或对状态扰动训练, 可以提高恢复能力. 扰动强度过大又会让模型学成保守固定点.

多精度训练可能改变潜通道. 细小向量差异若承载分支, 量化后消失. 在部署精度上训练或微调, 比训练后直接量化稳. System Card 报告精度与硬件, 潜推理对数值环境可能更敏感.

3. 潜在树搜索如何成立

节点、分支与价值：显式树搜索的节点是可读状态, 分支是候选动作, 价值可由奖励或评估器估计. 潜在树搜索把节点压进向量, 分支可能以叠加表示存在. 要称为搜索, 至少需要候选扩展、价值区分和选择机制, 不能只因隐藏状态反复更新就命名为树.

潜节点的等价关系不清楚. 两个向量可能表示同一问题状态, 一个向量也可能混合多个状态. 去重、回溯和访问计数比显式树难. 可以训练状态距离或解码摘要辅助, 但这些近似可能合并本应分开的分支.

价值函数从隐藏状态预测最终成功. 如果价值与策略共同训练, 共享盲点会让搜索集中到错误区域. 用真实结果校准, 保存探索分支. 置信高不等于正确, 分布外状态尤其可能过度自信.

延迟决定：语言 CoT 每步采样 token, 早期表述会固定方向. 潜状态可暂时保留多个解释, 到证据足够再离散选择. 延迟决定的收益应在需要消歧、组合约束或多跳规划的任务上更明显.

构造诊断任务: 前缀支持多个候选, 后段信息只支持一个. 比较早期解码与潜状态是否保留其他候选. 若探针能读出多个分支且最终正确率提高, 支持延迟选择解释; 只看到高维信息不够.

延迟也有成本. 分支在潜空间互相干扰, 后续可能无法恢复. 随候选数增加测恢复率, 找到容量边界. 与显式 beam search 同 FLOPs 比较, 看压缩是否带来真实效率.

探索与坍缩：训练答案损失倾向把概率集中到成功路径, 潜分支可能很快坍缩. 增加熵、分支多样性或对比目标能维持探索, 也可能保留无用噪声. 多样性要和独立可达答案相关, 不按向量距离本身奖励.

检测坍缩可从干预入手. 在潜状态中移除某个可解码分支, 最终答案是否按预测变化; 对某分支增权, 输出是否转向对应答案. 若干预无效, 探针读出的分支可能只是旁观信息.

搜索深度和宽度存在预算取舍. 潜叠加看似同时增加宽度, 每个分支得到的表示精度会下降. 画固定计算下深宽前沿, 比单独增加潜步更能说明方法优势.

与外部验证器结合：可执行任务能用测试或证明检查器验证潜搜索结果. 模型提出多个候选, 外部验证选择或给反馈, 再写回潜状态. 这形成更强闭环, 能力来自潜搜索与验证组合.

验证反馈必须结构化. 只给通过/失败可能不足以定位, 详细错误又可能泄漏测试. 开发集可给丰富反馈, 密封集只做终审. 候选无权修改验证器.

开放任务缺少精确验证器, 价值模型偏差更关键. 多源评估、反方生成和人类抽样提供锚点. 潜推理不可读时, 外部结果验证承担更大责任.

3.1. 怎样研究不可读的中间状态

解码不是原样翻译：从 $h_t$ 训练解码器生成文字, 得到的是对状态中可读信息的近似. 解码器可能丢失信息、加入语言先验, 或只读出相关特征. 一段流畅解释不代表模型内部按这段话推理. 解码用于提出假设, 需要行为干预验证.

线性探针能测某概念是否可线性读出, 强探针则可能自己完成任务. 两者夹住信息可达性: 线性成功说明表示显式, 强探针成功只说明状态和探针组合有能力. 与随机层、输入表示和未训练模型对照, 判断增量.

解码质量按事实、分支和因果状态评估, 不只看文本相似. 同一潜状态可能对应多种合理语言, BLEU 等指标不合适. 用可执行子目标、候选集合和后续预测更直接.

因果干预：找到与某候选答案相关的方向 $v$ , 沿 $v$ 加减扰动, 看输出与后续状态是否按预测变化. 相关方向若不影响行为, 可能是冗余记录; 干预改变答案, 提供更强因果证据. 扰动也可能把状态推离分布, 需要小步、对照方向和恢复实验.

激活替换把正确轨迹某步状态换到错误轨迹, 或反向替换, 定位决定形成时间. 若早期替换能挽救后续, 该状态承载关键计算; 若任何步都无效, 信息可能分布在多层或解码假设错误.

因果 tracing 还要考虑层与 token 位置. 潜状态通过整个网络传播, 单一向量方向可能不够. 使用稀疏自动编码器或子空间干预提供更细粒度, 仍需端到端结果确认.

表示几何：分析轨迹在状态空间的距离、曲率和聚类, 可以观察不同问题是否共享阶段. 但欧氏距离受旋转与尺度影响, 跨模型不能直接比较. 使用保持行为的对齐、CKA 或局部邻域, 同时报告度量选择.

若潜推理真的保留多分支, 状态可能位于候选流形之间. 线性插值是否产生混合答案、局部扰动是否切换分支, 都能检验. 高维几何图仅作可视化, 降维投影可能制造簇.

轨迹长度与路径也有意义. 简单题是否快速到固定区域, 难题是否经历更多状态变化. 若所有题轨迹相似, 动态步数可能由表面长度控制. 按难度和机制对照.

监控的边界：潜推理缺少自然语言审计轨迹. 监控可以解码风险概念、预测工具意图或检查状态异常, 这些都是学习到的代理. 对手模型可能适应监控, 同源偏差也会漏检. 高风险动作仍需外部权限与环境日志.

强制模型输出事后解释能提高可读性, 解释可能与真实计算脱节. 比较解释与潜状态干预、实际工具轨迹和反事实预测. 一致时增强信心, 不一致时以行为证据为主.

监控器训练数据要包含正常难题和危险轨迹, 防止把高计算强度误判风险. 分语言、领域和步数校准. 未决状态升级审查, 不强行二值.

3.2. 评测潜推理需要哪些对照

同计算对照：潜推理、CoT、直接回答和 beam search 使用不同计算形态. 固定生成 token 数并不公平, 应比较总 FLOPs、墙钟、内存和模型调用. 同计算看算法效率, 同延迟看产品价值, 同质量看成本. 三种前沿分别报告.

参数量也固定. 若潜模型增加专门层或训练数据, 消融这些资源. 课程学习使用显式 CoT 数据, 基线也应获得相同数据. 否则收益可能来自监督量.

训练成本与推理成本分开. 潜模型训练更贵、部署更便宜, 适合高调用量; 反之则适合少量难题. 只报单次准确率无法做判断.

任务结构对照：图搜索、规划和组合推理适合测试多分支; 算术或知识题可能只需单路径. 按任务机制分组, 看收益是否与理论预测一致. 若所有任务同幅提升, 可能来自一般训练差异.

构造可控难度: 分支因子、深度、干扰和延迟信息分别变化. 潜叠加理论预测对宽度有优势, 循环深度预测对路径长度有优势. 曲线比单点 benchmark 更能验证机制.

表面形式也要扰动. 换实体、顺序和语言, 保持图结构. 若性能随表面变化大, 模型可能记模板. 训练与测试按母结构切分.

过程正确性：最终答案正确可能来自捷径. 对有真值轨迹的任务, 比较中间可达集、子目标和价值排序. 潜状态不可直接读时, 用干预与解码交叉. 过程指标只作机制证据, 不取代最终正确性.

错误答案也分类: 过早选分支、丢失候选、价值误判、循环不稳定或解码失败. 每类对应不同修复. 总准确率下降无法指出潜计算哪里坏.

在答案不唯一的任务, 过程多样性可能有价值. 测候选覆盖与最终选择, 不要求复刻一条人工 CoT. 人类轨迹只是一种解法.

泛化与长度外推：训练深度 $T$ 内表现好, 推理时多循环是否继续提高, 是共享转移的关键测试. 超出训练长度可能累积误差、进入固定点或发散. 画步数外推曲线, 不只测试一两个额外步.

结构外推比数值外推更强. 在更深图、新分支规则和组合约束上测试. 如果模型只适应训练分布的步数标记, 潜循环不会带来算法泛化.

跨模型规模检查机制是否保持. 小模型依赖潜叠加, 大模型可能直接解题; 或大模型更能利用高维状态. 不从单一规模推断 scaling.

3.3. 表示等价与可辨识性

坐标可以改变, 计算保持不变：潜状态没有天然词典. 设一层输出为 $h$ , 后续计算先乘矩阵 $W$ . 对任意可逆变换 $A$ , 把状态改写成 $h'=Ah$ , 同时把后续权重改成 $W'=WA^{-1}$ , 网络的输入输出可以完全相同. 因此, 某一维激活很高并不自动等于模型正在考虑某个概念. 换一组坐标, 同一计算会分散到许多维, 也可能被压进少数方向. 真正稳定的研究对象是行为、子空间、局部拓扑和因果作用, 而非单个神经元的名称.

这种自由度也解释了为什么两个同样正确的模型不必形成相似轨迹. 它们可能采用不同坐标表达同一算法, 也可能采用不同算法得到同一答案. 比较表示时需要先做对齐, 再检查对齐是否保留干预结果. CKA、正交 Procrustes 和局部邻域重合度各自捕捉不同不变量. 一个指标给出高相似度, 只能说明该指标关注的结构接近.

对潜推理而言, 可辨识性的困难更强. 状态既承担当前信息, 又成为下一步输入; 一个看似无意义的旋转可能在循环动力学中保持全部功能. 因此, “解码出一句话”属于方便理解的投影. 更可靠的问题是: 哪些状态差异会改变后续候选, 哪些方向控制退出, 哪些子空间保存约束, 哪些扰动会让搜索丢失某一分支.

解码器会带入自己的答案：从潜状态训练一个语言解码器, 本质上是在估计 $p(x\mid h)$ . 若解码器容量很大, 它可以利用训练分布补齐 $h$ 中没有明确保存的信息. 例如状态只编码“答案偏向偶数”和题目身份, 解码器也可能凭题目记忆生成一段完整证明. 这段证明语法顺畅, 却不能说明原模型按相同步骤计算过. 解码能力必须和无状态、打乱状态、随机层状态等基线比较.

还可以限制解码器容量并逐级增加. 线性探针读出的内容接近显式可用信息; 小型非线性探针能发现弯曲流形上的信息; 大型生成器回答的是信息能否与解码器先验共同恢复. 三者都值得报告, 但含义不同. 如果只有大型解码器成功, 最谨慎的结论是状态含有足够线索, 尚不能宣称其中保存了一条语言化推理链.

时间位置也会造成泄漏. 后层状态已经吸收更多计算, 用它预测早期分支会夸大早期状态的信息量. 探针应严格限制可见层和可见步, 并在训练、验证间按问题族切分. 否则探针会记住题型到答案的映射, 看起来像读懂了潜状态.

功能等价比语义命名更稳：可以把潜状态按功能划分: 保存尚未满足的约束、维持候选集合、累计局部代价、决定是否继续、准备语言输出. 这些名称依然是人的解释, 但它们能由受控任务和干预定义. 删除约束子空间后, 模型应更容易违反已知条件; 扰动价值方向后, 候选排序应改变; 阻断退出信号后, 循环步数应系统性延长. 预测兑现, 功能解释才站得住.

同一状态可以同时承担多种功能. 高维网络常用叠加复用维度, 并不存在整齐分区. 研究时应允许一个方向在不同上下文改变作用, 也允许多个方向共同实现一个变量. 稀疏字典学习能提出更细的特征候选, 随后的因果替换仍是关键. 命名是实验的起点, 不是结论本身.

参考文献

Hao, Sukhbaatar, Su, Li, Hu, Weston, Tian (2024). Training Large Language Models to Reason in a Continuous Latent Space. v4. 第 3, 4, 5 节, 表 1, 图 3–9.
Zhu, Hao, Hu, Jiao, Russell, Tian (2025). Reasoning by Superposition: A Theoretical Perspective on Chain of Continuous Thought. NeurIPS 2025. 引理 1, 2, 定理 1, 第 5 节, 表 1, 图 4–6.
Deng, Choi, Shieber (2024). From Explicit CoT to Implicit CoT: Learning to Internalize CoT Step by Step.
Merrill, Sabharwal (2023). The Expressive Power of Transformers with Chain of Thought.

上一篇: 6.1.1 · 自动研究与科学发现

下一篇: 6.2.1 · Anthropic: AI 参与 AI 开发的内部证据