02 · mHC: 双随机约束下的超连接, 增益, 开销与实验口径

材料是 DeepSeek-AI 的论文 mHC: Manifold-Constrained Hyper-Connections (arXiv 2512.24880, 2025 年 12 月, 正文加附录 19 页). 官方没有单独的 mHC 仓库, 训练用的内核收在 deepseek-ai/TileKernels 的 tile_kernels/mhc/ 目录下, 同仓库的 tile_kernels/torch/mhc.py 是 PyTorch 参考实现; 下文对照的代码是 2026-09-30 的提交 66258df. 逐段译文见 mHC 对照译稿.

论文要解决的问题是: Hyper-Connections (HC) 把残差流加宽到 $n$ 路, 在小模型上有收益, 但放到 27B 的 MoE 上, 残差混合矩阵连乘之后增益失控, 同时 $n$ 路残差让每层的读写量, 激活显存和流水线通信都涨到原来的 $n$ 倍左右. mHC 的回答分两半: 数学上把残差混合矩阵 $\mathcal{H}_l^{\mathrm{res}}$ 约束成双随机矩阵, 系统上用融合内核, 分块重计算和改造的 DualPipe 把开销压下去. HC 的结构, 双随机矩阵的性质证明和 Sinkhorn-Knopp 的手算例子已经写在 Hyper-Connections 与 mHC 里, 下文只在需要时引用结论, 篇幅放在论文自己的设定, 实验数字的口径和代码实现上. V4 怎样使用 mHC 见 DeepSeek-V4 解析 第 1.2 节, 另一条改进路线见 xHC.

1. HC 在 27B 上哪里不稳

三个映射与表 1 的组件消融: HC 把第 $l$ 层的残差状态从 $1\times C$ 扩成 $n\times C$ 的矩阵 $\mathbf{x}_l$, 层函数 $\mathcal{F}$ 内部仍按 $C$ 维计算. 三个映射各管一件事: $\mathcal{H}_l^{\mathrm{pre}}\in\mathbb{R}^{1\times n}$ 从 $n$ 路里加权读出层输入, $\mathcal{H}_l^{\mathrm{post}}\in\mathbb{R}^{1\times n}$ 把层输出按权重写回 $n$ 路, $\mathcal{H}_l^{\mathrm{res}}\in\mathbb{R}^{n\times n}$ 在 $n$ 路之间重新混合. 合起来就是式 (3):

把它从第 $l$ 层递推到第 $L$ 层得到式 (4), 第一项是 $\left(\prod_{i=1}^{L-l}\mathcal{H}_{L-i}^{\mathrm{res}}\right)\mathbf{x}_l$. 普通残差里这一项的系数恒为 $\mathbf{I}$, 浅层的信号原样送到深层, 这就是恒等映射性质. HC 把它换成了 $L-l$ 个可学习矩阵的连乘, 每个矩阵都由式 (5) 的「$\alpha\cdot\tanh(\cdot)+\mathbf{b}$」给出, 没有任何约束, 所以连乘的结果可以离 $\mathbf{I}$ 任意远.

表 1 拆了三个映射各自的贡献. 不启用的映射用固定值代替: pre 取均匀权重 $1/n$, post 取全 1, res 取单位阵. 只开 $\mathcal{H}^{\mathrm{res}}$ 时 loss 比基线低 0.022, 再加 pre 是 0.025, 三个全开是 0.027. 也就是说总收益的约 81% 来自残差混合矩阵, 而它恰好是连乘之后会失控的那一项. 表 1 用的模型规模和训练步数文中没有给出; 另外表里缺一行「pre 和 post 动态, res 固定为 $\mathbf{I}$」, 这一行对判断「残差流之间的信息交换是否必要」是关键对照, 第 6.3 节再回到这个缺口.

1.1. Amax Gain Magnitude 的定义与图 3

论文用两个指标量化连乘的放大程度: 复合矩阵各行之和的最大绝对值, 记作前向信号增益; 各列之和的最大绝对值, 记作反向梯度增益, 合称 Amax Gain Magnitude. 取行和的理由是: 若 $n$ 路残差携带同一个信号 $\mathbf{s}$, 即 $\mathbf{x}=\mathbf{1}_n\mathbf{s}$, 则 $\mathcal{H}\mathbf{x}=(\mathcal{H}\mathbf{1}_n)\mathbf{s}$, 第 $i$ 路得到的倍数正好是第 $i$ 行的行和. 反向时梯度经过 $\mathcal{H}^\top$, 同理对应列和. 这个指标只量了「各路相同」这一个方向上的放大, 不等于谱范数; 各路信号不同时, 正负元素可以相互抵消, 也可以叠加得更大. 图 3 的数值还对选定的一条序列里所有 token 取了平均.

图 3(a) 解析: 横轴把 27B 模型的 30 个 Transformer 块拆成注意力和 FFN 两个子层, 共 60 层; 纵轴是对数坐标的单层 $\mathcal{H}_l^{\mathrm{res}}$ 增益. 中间约 50 层的单层增益在 0.7 到 1.7 之间来回抖动, 前向和反向两条曲线基本重合. 异常集中在两端: 第 1 层前向约 18, 反向约 7; 第 55 层以后单层增益逐层抬到 1.5 到 2.7, 第 60 层前向约 22, 反向约 12.

图 3(b) 解析: 两条曲线的定义方向相反. 前向曲线在横坐标 $l$ 处是从第 1 层乘到第 $l$ 层的复合矩阵, 反向曲线在 $l$ 处是从第 $l$ 层乘到第 60 层的复合矩阵. 反向增益从第 1 层的约 250 一路上升, 在第 45 到 52 层附近达到约 3000 的峰值, 之后快速回落到第 60 层的约 12. 前向增益在中间段只有 5 到 10, 到第 60 层 (整条深度的连乘) 跳到约 500. 两端的数值可以和图 8 第一行最右的 60 层复合矩阵对上: 那个矩阵的最大绝对行和是 509.1, 最大绝对列和是 259.2. 峰值 3000 出现在只连乘末尾十来层的位置, 结合图 3(a) 看, 主要是第 55 到 60 层的单层增益 (1.5 到 22) 乘出来的, 中间层的 0.7 到 1.7 互相抵消, 贡献不大.

图 2 的 loss 偏离有多大: 正文把 HC 的问题写成「在 12k step 左右出现意外的 loss surge」, 并说它与梯度范数的不稳定高度相关. 看图 2 的实际幅度, 这里的 surge 和通常说的 loss spike 不一样.

图 2(a) 解析: 纵轴是 HC 减去 mHC 的训练 loss, 以 mHC 为零线. 前 1 万步两者基本重合, 差值在 $\pm0.002$ 内; 从约 12k step 开始差值单调爬升, 17k step 前后到约 0.006, 之后在 0.005 到 0.007 之间维持, 50k step 结束时约 0.005. 曲线没有尖峰, 也没有回不来的发散, 是一次持续的抬升后停在新的水平上.

图 2(b) 解析: 同期 HC 的梯度范数从 12k step 附近开始明显抖动, 在 0.12 到 0.18 之间起伏, mHC 则平稳下降. 40k step 处所有曲线一起向下跳一个台阶, 这对应附录表中学习率在总步数 0.8 倍处的阶梯衰减. 结合第 5.2 节的图 5(a), HC 最终仍比基线低约 0.016, 比 mHC 少的约 0.005 相当于 mHC 收益的四分之一. 所以在 27B, 50k step 这个设定下, HC 的「不稳」体现为收益被侵蚀, 而训练并没有崩. 更大规模或更长训练下会不会真的发散, 文中没有给出数据.

流形约束: 双随机矩阵与 Sinkhorn-Knopp: 行和, 列和与双随机

式 (6) 要求 $\mathcal{H}_l^{\mathrm{res}}$ 非负, $\mathcal{H}_l^{\mathrm{res}}\mathbf{1}_n=\mathbf{1}_n$, $\mathbf{1}_n^\top\mathcal{H}_l^{\mathrm{res}}=\mathbf{1}_n^\top$. 对照第 1.2 节的指标, 行和为 1 就是前向增益为 1, 列和为 1 就是反向增益为 1. 列和为 1 还有一层含义: $\mathbf{1}_n^\top\mathcal{H}\mathbf{x}=\mathbf{1}_n^\top\mathbf{x}$, 即混合前后 $n$ 路之和不变, 各路的平均信号被原样传下去, 这正是普通残差恒等映射在多路情形下的推广. 非负性再保证这种守恒不是靠正负抵消凑出来的.

论文列了三条性质: 谱范数不超过 1, 对矩阵乘法封闭, 是置换矩阵的凸组合 (Birkhoff 多面体). 证明见 Hyper-Connections 与 mHC. 对实验最要紧的是第二条: 单层约束成立, 任意层数的连乘就自动成立, 第 1.2 节那种 60 层累积出 3000 倍的路径被从结构上切断. $n=1$ 时双随机矩阵只能是标量 1, mHC 退回普通残差. $n=4$ 时 Birkhoff 多面体是 9 维 ($(n-1)^2$) 的凸集, 4 阶置换矩阵有 24 个顶点, 混合矩阵在这 9 个自由度里取值.

参数化: 式 (7)(8) 相对 HC 改了三处: 第一处是输入. HC 的式 (5) 对每一路分别做 RMSNorm, 用 $\theta^{\mathrm{res}}\in\mathbb{R}^{n\times C}$ 生成 $n\times n$ 的动态项, 每一路只看自己那一行. mHC 的式 (7) 先把 $n\times C$ 展平成 $1\times nC$, 整体做 RMSNorm, 再乘 $\varphi_l^{\mathrm{res}}\in\mathbb{R}^{nC\times n^2}$, 每个系数都能看到全部 $n$ 路. 代价是参数量: HC 每层的动态投影是 $(n+2)C$ 个参数, mHC 是 $nC\times(n^2+2n)=n^2(n+2)C$ 个, $n=4$ 时从 $6C$ 变成 $96C$, 多了 16 倍. 27B 的 $C=2560$, 60 个子层合计约 1470 万参数, 相对 27B 总参数仍可忽略.

第二处是激活函数. HC 用 $\tanh$, 系数可正可负; mHC 去掉 $\tanh$, 对 pre 用 $\sigma$, 对 post 用 $2\sigma$, 对 res 用 Sinkhorn-Knopp. 于是 pre 落在 $(0,1)$, post 落在 $(0,2)$, res 落在双随机矩阵上, 三者都非负. 正文对非负性的解释是防止「正负系数组合造成信号抵消」, 图 8 第一行的 HC 矩阵正好是反例: 60 层复合矩阵四行的行和是 $-475.3, -462.8, 509.1, -498.5$, 各路携带量级几百倍, 符号相反的信号, 层输入是靠它们相互抵消才落回正常量级.

第三处是 post 的系数 2. 动态项和偏置都为零时 $2\sigma(0)=1$, 写回权重从 1 起步, 与普通残差相同; 同时上限放到 2, 允许某一路多拿. pre 在零点是 $\sigma(0)=0.5$, $n=4$ 时四路之和为 2, 层输入的量级是各路平均值的 2 倍. 偏置 $\mathbf{b}$ 怎样初始化文中没有给出, 参考实现里也只看到前向计算. 门控 $\alpha$ 的初值沿用 HC 的 0.01 (附录表), 训练初期三组系数几乎由静态偏置决定.

Sinkhorn 的截断与官方代码: 式 (9) 从 $\mathbf{M}^{(0)}=\exp(\tilde{\mathcal{H}}_l^{\mathrm{res}})$