2.2.2 · L1: 合作式协同演化与模型层的上限

2.3 的第二方是对手. 这里的第二方是合作者: 它和被训练者一起演化, 目标是帮被训练者变好. 材料是 WebRL, CURE, RL Tango 和协作自博弈四个系统, 最终把 L1 的三组方法放在一起看.

1. 合作还是竞争

判定标准：综述用「合作目标测试」区分这一组和自博弈. 关键不在有没有第二个角色, 而在第二个角色的目标: 它是否被设计成为被训练者提供指导.

边界上的例子是 DUEL. 它有一个构造困难负样本的挑战者, 读起来像对抗; 但这个挑战者的用途是稳定解题者的视觉定位, 不是打败它. 综述把 DUEL 放在合作一组, 同时注明了这种模糊.

四种差别：综述按合作者和被训练者有什么不同, 把这一组分成四段:

段	合作者的差别	例子
特权教师	掌握学生没有的信息 (事后信息, 提炼的技能, 轨迹上下文)	GenEvolve, OPD-Evolver, VPD
协同演化的验证器和评论者	评估功能不同	Q-Evolve, CME, WebRL, SEAgent
两个协同训练的模型	参数分开训练, 互相提供信号	CURE, RL Tango, ZeroCoder
多智能体与群体	一群成员共同产生信号	协作自博弈, SERM, DPE, PopuLoRA

从上往下, 合作者和被训练者的距离越来越大. 综述强调: 这些差别可能影响信号的信息量, 但不确立外部审计的地位. 一个分开训练的验证器, 错误模式和生成器不同时能提供更有用的指导; 它能不能参与外部审计, 要看谁控制它, 谁能查询它.

特权教师：最近的一端是特权教师. 它和学生的差别只是多了一些信息, 比如事后才知道的结果, 提炼过的技能, 或者学生看不到的轨迹上下文. 教师在学生自己的轨迹上给出逐词元的稠密监督, 学生由此学会单靠自己产生不了的指导.

综述的判断是: 教师和学生耦合得很紧, 它额外的信息来自特权差, 不来自真正的审计独立性. 学生从教师那里学到的, 最多到教师的特权信息为止.

1.1. 分开训练的评估者: WebRL

问题与结果奖励模型：网页智能体的训练有三个困难. 训练任务少: WebArena 这样的环境里, 带奖励函数的任务数量有限. 反馈稀疏: 任务完成得 1 分, 否则 0 分, 中间的每一步都没有反馈. 在线学习时策略分布漂移. WebRL (Qi et al., 2025, 清华与智谱) 针对这三点设计了一个自演化的在线课程强化学习框架.

WebArena-Lite 的训练集任务各自带有奖励函数, 能判定一条轨迹是否完成任务. 但 WebRL 要生成新任务, 新任务没有现成的奖励函数. 所以先训练一个结果奖励模型 (ORM) 来判定成败.

ORM 的训练数据这样构造: 改写 WebArena-Lite 训练集的指令, 得到一个扩充的任务集; 收集各种基线方法在这些任务上的轨迹, 加上原训练样本, 共 12200 条; 用任务自带的奖励函数给每条轨迹标注成败. ORM 读入指令和轨迹, 输出 YES 或 NO, 取两者中概率较高的一个.

ORM 的准确率:

评测集	WebRL 的 ORM (8B)	GPT-4	Captioner + GPT-4	GPT-4V
WebArena-Lite 测试集	80.8%	71.9%	72.6%	71.2%
100 条人工标注的轨迹	79.4%	71.2%	73.3%	70.5%

80% 的准确率意味着大约每 5 条轨迹判错 1 条. 在新任务上, ORM 是唯一的成败判定, 这些错误直接进入训练信号.

课程和稳定化：每个阶段, WebRL 用上一阶段失败的指令作为种子, 生成新的指令. 新指令经过两道过滤: 用训练好的评论者 (critic) 估计每条指令在初始状态下的分数, 只保留 0.05 到 0.75 之间的, 去掉太容易和太难的; 再用 GPT-4o 按一个专门的提示排除在 WebArena 里无法完成的任务. 这个提示是作者人工审查生成任务, 找出不可完成的类型后写成的.

策略更新时加一个参考策略和当前策略之间的 KL 项, 限制每阶段的漂移. 经验回放缓冲区保留过去的经验, 按演员模型的置信度过滤后再用于训练, 防止遗忘已经学会的东西. 论文报告, 回放难度适中的过去经验效果最好; 加入过去经验时, 更大的 KL 约束效果更好.

结果与归类：WebArena-Lite 上, Llama-3.1-8B 的成功率从 4.8% 提到 42.4%, GLM-4-9B 从 6.1% 提到 43%. 对比: GPT-4-Turbo 17.6%, GPT-4o 13.9%.

WebRL 的评估者 (ORM 和评论者) 和策略分开训练, 评估功能不同, 综述把它放在「协同演化的验证器和评论者」一段. 保留下来的改动在策略的权重里, 是 L1. 它的锚有两层: ORM 的训练标签来自环境自带的奖励函数; 课程过滤用到了 GPT-4o 和作者的人工审查. 最终评测用 WebArena-Lite 测试集的奖励函数, 在更新边界之外.

1.2. 两个协同训练的模型: CURE 与 RL Tango

CURE 的问题：代码生成可以用单元测试检查. 一个常见的推理时做法是: 对一道题生成 $n$ 个候选解 $s_1, \dots, s_n$ 和 $m$ 个单元测试 $u_1, \dots, u_m$ , 全部交叉执行, 得到一个 0/1 矩阵 $\mathcal{B} \in {0, 1}^{n \times m}$ , $\mathcal{B}_{j,l} = 1$ 表示解 $s_j$ 通过测试 $u_l$ . 每个解的得分是它通过的测试数:

\mathcal{R}_{s_j} = \sum_{l=1}^{m} \mathcal{B}_{j,l},

选得分最高的解. 2.1 第 4.4 节的 CodeT 也是这个思路.

这个做法依赖生成的测试质量. 测试本身错得多, 题目描述有歧义, 或者输出只有真假两种时, 错误的解也可能通过很多测试. CURE (Wang et al., 2025, 芝加哥大学, 普林斯顿, 北大, 字节 Seed) 要同时训练写代码和写测试的能力, 让测试越来越能区分对错.

CURE 的奖励精度：CURE 把测试生成器的目标定义为奖励精度: 一个正确解的得分高于一个错误解的概率,

P\left(\mathcal{R}_{s_{j_1}} > \mathcal{R}_{s_{j_2}} \;\middle|\; s_{j_1} \text{ 正确},\; s_{j_2} \text{ 错误}\right).

为了分析它, 论文建了一个生成模型. 一个生成的解正确的概率是 $p_s$ , 一个生成的测试正确的概率是 $p_u$ . 给定两者的对错, 执行结果是另一个伯努利变量, 通过概率记为 $p_{c_s c_u}$ : 正确的解一定通过正确的测试, $p_{11} = 1$ ; 正确的解一定不通过错误的测试, $p_{10} = 0$ ; 另外两个未知, $p_{01}$ 是错误的解通过正确测试的概率, $p_{00}$ 是错误的解通过错误测试的概率.

定理 3.1 说: 只用一个正确的测试, 精度是 $1 - p_{01}$ . 用 $m$ 个生成的测试求和时, $m \to \infty$ 时精度趋于 1, 当且仅当

\mu := p_u (1 - p_{01}) - (1 - p_u)\, p_{00} > 0.

在这个条件下, 精度满足 $P(\mathcal{R}$ .

逐项看 $\mu$ . 第一项 $p_u(1 - p_{01})$ 是「测试正确, 并且错误的解没通过」的概率, 这时正确解比错误解多得 1 分. 第二项 $(1 - p_u), p_{00}$ 是「测试错误, 并且错误的解通过了」的概率; 错误的测试正确解一定不通过, 这时错误解比正确解多得 1 分. $\mu$ 是每个测试给正确解带来的平均净优势.

手算两组数字. 第一组, $p_u = 0.6$ , $p_{01} = 0.2$ , $p_{00} = 0.3$ :

\mu = 0.6 \times 0.8 - 0.4 \times 0.3 = 0.48 - 0.12 = 0.36.

$\mu > 0$ , 测试越多越准. 下界 $1 - e^{-0.36^2 m/8}$ 在 $m = 16$ 时只有约 0.23, $m = 100$ 时约 0.80. 这个下界很松, 但它说明了收敛速度由 $\mu^2$ 决定.

第二组, 测试质量差一些: $p_u = 0.3$ , $p_{01} = 0.2$ , $p_{00} = 0.5$ :

\mu = 0.3 \times 0.8 - 0.7 \times 0.5 = 0.24 - 0.35 = -0.11.

$\mu < 0$ , 生成再多测试也没用, 按通过数选解会系统性地选到错误的解.

所以论文把 $\mu$ 作为测试生成器的优化目标. 提高 $\mu$ 就是提高测试的正确率 $p_u$ , 同时压低 $p_{01}$ 和 $p_{00}$ .

CURE 的两种奖励：训练集里每道题带有 $t_q$ 个标准单元测试. 对每道题, 策略模型生成 $n$ 个解和 $m$ 个测试, 所有解对 $m + t_q$ 个测试执行, 得到矩阵 $\mathcal{B}^\star$ , 最终 $t_q$ 列是标准测试.

解的奖励是它通过的标准测试数:

\mathcal{R}^\star_{s_j} = \sum_{l=1}^{t_q} \mathcal{B}^\star_{j, m+l}.

通过全部标准测试的解定义为正确, 否则为错误. 每个生成测试的奖励是从矩阵里估计出的 $\mu$ . 论文给出的直观含义是: 一个测试让所有正确解都通过时, 奖励为正, 大小正比于它拦下的错误解的数量; 一个测试哪怕让一个正确解失败, 奖励为负, 大小正比于它放过的错误解的数量.

论文专门说明了为什么不用更简单的奖励. 如果奖励只是「测试是否让所有正确解通过」, 生成器会写出平凡的, 过于宽松的测试, 什么都能通过, 奖励最大化了, 区分能力却没有了. 推导出的 $\mu$ 同时要求正确和有区分力.

两个角色由同一个策略模型扮演, 根据两种奖励交替优化. 写测试的角色能直接从写代码角色的错误里学习: 错误的解越多样, 能拦下它们的测试就越有价值.

CURE 的结果和锚：训练数据是 CodeContests 里难度不超过 2 的 4500 道题. 基于 Qwen2.5-7B-Instruct 和 14B-Instruct 得到 ReasonFlux-Coder-7B 和 14B, 在五个基准上平均: 单元测试准确率提高 37.8%, 一次生成的代码准确率提高 5.3%, Best-of-N 准确率 (16 个解, 16 个测试) 提高 9.0%. 14B 模型的部分数字:

基准	指标	Qwen2.5-14B-Instruct	ReasonFlux-Coder-14B
LiveBench	单元测试	27.8	73.3
LiveBench	代码	36.4	47.5
LiveBench	Best-of-N	51.7	60.2
CodeContests	单元测试	43.8	86.0
CodeContests	代码	25.6	32.1

单元测试准确率的提升远大于代码准确率. 论文还报告, 训练后的测试生成器可以当奖励模型, 对基础模型做强化学习, 不需要人工标注或标准测试.

CURE 的摘要说它「不用任何标准代码作为监督」. 这句话准确, 但要注意它用了标准单元测试: 解的奖励完全由标准测试决定, 测试的奖励也要靠标准测试先判定哪些解正确. 标准测试是这个环的锚, 和 2.2 里 ReST $^{EM}$ 用单元测试筛样本是同一类外部信号. 两个角色的协同演化发生在这个锚之上.

RL Tango 的问题与设计：用强化学习训练推理模型时, 奖励来自验证器. 常见的验证器要么是固定的 (规则或冻结的预训练奖励模型), 要么是用SFT训练的判别式模型. Zha 等人 (2025, MIT) 认为, 这两种都容易被奖励黑客利用, 而且在训练分布之外泛化差. 已有的 PRIME 让过程奖励模型和生成器一起在线训练, 但它的奖励是由 logit 给出的确定性数值, 仍然容易被钻空子, 训练方式也是SFT.

Tango 用强化学习交替训练两个模型: 生成器 $\pi_g$ 和验证器 $\pi_v$ .

验证器是生成式的过程级验证器. 它读入生成器的多步推理, 用自然语言逐步判断每一步对不对, 再给出整体正确与否的结论.
验证器只用结果级的奖励训练: 它对整条解答的整体判断和标准答案的对错是否一致. 不需要任何逐步标注.
生成器的奖励由两部分组成: 标准答案给出的结果奖励, 加上验证器给出的逐步奖励. 逐步奖励的权重随训练衰减, 早期用来引导探索, 后期降低以减少奖励黑客的风险.

论文给了两个设计理由. 用强化学习而不是SFT训练验证器, 和生成器侧偏好强化学习的理由相同: 只有结果监督时, 强化学习比模仿学到更强的推理, 泛化更好. 验证器是生成式的, 要采样, 奖励信号带有随机性, 生成器更难针对它过拟合.

RL Tango 的结果如下： 200 步生成器训练, 五个竞赛数学基准和四个分布外推理基准:

方法	数学平均	AIME 2025	分布外平均
SFT 起点	25.8	3.3	52.8
GRPO	37.0	10.0	57.6
GRPO + Tango	46.1	20.0	61.1

AIME 2025 上准确率翻倍. 换成其他强化学习算法, 提升方向一致. 验证器在 ProcessBench 上的逐步验证表现超过了更大的 Qwen2.5-Math-72B-Instruct, 而它只从 Qwen2.5-7B 基础模型初始化, 训练时没有用过程级标注.

冻结验证器的对照: 什么让它成为合作：论文做了一个对照: 验证器不训练, 冻结. 生成器在前 20 步几乎不进步, 因为冻结验证器的逐步反馈不准, 误导了学习. 随着逐步奖励的权重衰减, 训练重心转向可靠的标准答案奖励, 生成器才开始提升, 但最终准确率仍低于只用结果奖励的基线.

这个对照说明了「协同」的作用. 一个不准的验证器比没有验证器更糟. 验证器要跟着生成器一起变, 才能在生成器的推理分布变化时保持判断的准确.

综述在这一段的总结是: 不同的组合 (代码与测试, 生成器与验证器, 世界模型与策略, 抽取器与解题者) 反复出现同一种设计, 即专门训练第二个模型, 让它的信号对第一个模型保持有用. 这种有意的耦合让这一段是一种机制, 不是一份清单.

1.3. 群体信号: 协作自博弈

问题与设置：一个有用的助手要知道自己的能力边界: 什么时候凭参数知识回答, 什么时候用工具, 什么时候相信工具的输出, 什么时候放弃或含糊其辞. Eisenstein 等人 (2025, Google DeepMind) 指出, 这类能力很难用SFT教, 因为要构造反映这个特定智能体能力的样本: 同一个问题, 一个模型知道答案, 另一个不知道, 正确的动作就不同.

论文构造了一个三个智能体的小社会, 都用 Gemma2-9b:

提问者没有工具, 只能用 #ASK 把问题转给两个助手.
一个助手可以用 BM25 检索 Wikipedia, 另一个可以用 Gecko 稠密检索 PubMed 摘要. 助手可以 #SEARCH 检索, 然后 #ANSWER (确定的回答) 或 #HEDGE (不确定的回答).
提问者收到助手的回答后, 给出最终答案.

团队的奖励是扣除努力成本后的任务表现:

r(h_T) = \mathrm{Score}(y_T, y^*) - \delta \cdot \mathrm{Effort}(h_T),

$\mathrm{Score}$ 是最终答案和标准答案 $y^*$ 之间的词元级 $F_1$ , $\mathrm{Effort}$ 是整个过程里的检索次数, $\delta$ 设得很小, 只在 $F_1$ 相同时起作用. 训练用 ReST: 生成对话, 打分, 在好的对话上训练, 迭代. 论文对 ReST 做了修改, 避免在侥幸猜对的对话上训练.

为什么能学到校准：论文的论证是: 两个助手的知识互补时, 提问者常常会收到两个互相矛盾的回答. 要在其中选对, 它必须依靠助手标的 #ANSWER 和 #HEDGE. 助手如果在不确定时也标 #ANSWER, 提问者就会被误导, 团队得分下降. 所以团队奖励会推动助手如实地标注自己的确定程度. 这是论文标题「Don't lie to your friends」的含义.

论文检查了前提条件. 两个助手确实互补: 同一个数据集上, 两个助手检索后的 $F_1$ 差距明显, 而且哪个助手占优随数据集而变. 提示后的 Gemma2-9b 确实会看这个标记: 收到一个 #ANSWER 和一个 #HEDGE 时, 80% 的情况下它转述更确定的那个. 检索也有成本: 能凭参数答对时, 不检索得分最高.

结果：评测在单智能体设置下进行, 禁用 #ASK, 检验多智能体训练出的策略能否迁移. 部分结果:

设置	助手	PopQA $F_1$	PopQA 检索率	EntQ $F_1$	EntQ 检索率
上下文学习	PubMed	0.112	97.7%	0.212	98.0%
协作自博弈	PubMed	0.235	19.1%	0.329	12.6%
上下文学习	Wiki	0.338	99.5%	0.521	99.4%
协作自博弈	Wiki	0.321	48.0%	0.434	36.2%

上下文学习几乎每次都检索, 工具不对口时 (PubMed 助手答 PopQA) 表现很差. 协作自博弈的检索率低得多, 工具不对口时 $F_1$ 翻了一倍. EntQ 是分布外的长尾实体问题, 很依赖检索, 上下文学习因为总是检索反而表现最好, 协作自博弈的 Wiki 助手检索太少, 落后 8.7 个点. 论文还报告, 一个在评估时只在检索有用时才检索的理想策略, 比现有方法还有约 10 个 $F_1$ 点的余地.

群体能平均掉什么：综述对整个群体一段的分析是: 动机是群体能消掉单个自训练者的个别错误, 一个智能体持有的偏差不一定被整个群体共有. 这种误差平均是单个模型从内部做不到的.

风险有两个. 平均只在群体共识追踪真相时成立, 如果整个群体恰好有共同的偏差, 共识就是错的. 共识本身可能变成优化目标, 训练环学会满足共识, 却没有变得更正确. 所以群体并没有越过 L1 的上限, 它只是把自生信号和真相脱钩的位置, 从一个模型的置信度挪到了一个群体的一致意见.

协作自博弈的三个智能体是同一个基础模型, 差别只在工具和角色. 它能起作用, 依赖的是工具带来的知识差异, 加上标准答案给出的团队奖励. 论文在局限里写明, 只考虑了检索工具, 事实问答和一个语言模型, 希望将来用到没有标准答案验证的任务上.

2. L1 三组方法的可靠性条件与模型层的上限

信号来源与可靠性条件：把 2.2 到 2.4 放在一起. 三组方法里, 训练信号都是模型产生的标签, 奖励或偏好. 差别只在谁产生它: 单模型自训练里是同一个角色, 自博弈里是对手, 合作协同演化里是教师, 评论者或群体. 没有一组的信号本身就是外部目标.

每一组的提升主张, 只在内部训练信号能预测外部目标下的结果时才成立. 综述逐组写出这个条件:

组	信号来自	什么时候可靠	本库的例子
单模型自训练	被训练者自己	模型有把握的输出恰好是对的	TTRL 靠初始先验, Self-Rewarding 靠种子数据
竞争式自博弈	对手	竞争持续注入可学习的信息	SPIN 增量衰减到 0.19, R-Zero 第三轮后坍塌
合作协同演化	教师, 评论者, 第二个模型	特权信息, 不同的错误, 互补的角色; 但这些不保证正确	WebRL 的 ORM 准确率 80%, Tango 冻结验证器反而拖后腿
群体	一群成员	共识追踪真相, 不是共同偏差	协作自博弈靠工具的知识差异

综述强调, 这张表整理的是内部信号的来源, 不是可靠性排序. 可靠性仍然取决于和目标匹配的外部证据, 以及谁控制证据来源和接受规则.

失效的表现：条件不成立时, 自生噪声会继续放大. 这种退化反复出现在 L1 实验里, 已经超出偶然程序错误的范围. 具体表现包括:

模型坍塌, 已经被形式化为 Scaling Laws 的改变 (Dohmatob et al., 2024).
尾部变窄的停滞: 容易的样本被过度采样, 困难的样本得不到训练 (Ding et al., 2025).
「表面的」自我改进: 分布内准确率上升, 分布外泛化下降 (Yuan et al., 2025).
终身适应中的能力侵蚀.
对自博弈来说, 失效表现为停滞: 自合成的流水线不再加入可学习的信息, 或者数据筛选和奖励锚定不再能稳住环.

另一条研究线解释为什么这个条件脆弱. 一个结果给出了自生监督能多接近理想监督的界; 另一个表明, 解题的强化学习会隐式地产生它看似预设的过程奖励能力; 还有一组工作把自指的可恢复性坍塌建模为容量饱和的结构性后果. 合起来看, 不能假定可靠性条件成立.

模型层的两个上限与代价：综述指出, 有两个上限迫使自演化走向下一层, 而且它们在可靠性条件成立时也起作用.

第一个上限: 模型困在自己的分布里. 重训代价高, 又容易坍塌. 这限制了只改权重能走多远. 本部分的例子都能看到: SPIN 的天花板是人类数据分布, R-Zero 在几轮之后坍塌, Shumailov 等人证明每代只用生成数据时距离单调增长.

第二个上限是决定性的. 围绕模型的脚手架, 即提示, 工具, 记忆和控制流, 在整个 L1 都是人写的, 固定不变. 它常常才是训练好的权重能发挥多少的真正瓶颈. 要突破这个瓶颈, 改进的对象必须从模型本身移到它周围的脚手架, 这就是 L2.

综述指出, 往下一层走有代价. L1 的每个训练样本都有一个自生的参照: 一个标签, 一个奖励, 或者一对偏好. L2 改的是脚手架, 这个逐样本的参照也没有了, 剩下唯一能观察的是端到端的行为: 判断一次脚手架改动好不好, 只能看整个系统在任务上的表现. 第 3 部分从这里开始.

第 2 部分回顾如下：

篇	层级	方法	训练信号里的锚
2.1	L0	Self-Refine, Self-Consistency, ToT, CodeT	任务内的执行结果, 测试, 投票 (不保留)
2.2	L1	STaR, ReST $^{EM}$	标准答案, 单元测试
2.2	L1	Self-Rewarding, TTRL	种子数据; 初始先验
2.3	L1	SPIN, SPAG	人类 SFT 数据; GPT-4 对局 + 游戏规则
2.3	L1	Absolute Zero, R-Zero	Python 执行器; 无
2.4	L1	WebRL, CURE, RL Tango, 协作自博弈	环境奖励函数, 标准测试, 标准答案, 标准答案

最右一列的规律是: 能稳定提升的系统, 训练信号里几乎都有一个不随训练改变的外部锚. 锚越弱 (TTRL 的先验, R-Zero 的自投票), 坍塌来得越早. 这和 1.2 第 5 节的审计要求是同一件事: 能证明改进的证据, 必须在更新边界之外.

2.1. 合作为什么可能比单模型自训练更强

信息差是合作信号的来源：合作式训练有用, 不能只靠“两个模型比一个模型多”. 如果两个角色看到相同数据, 使用相同参数, 以相同方式犯错, 第二份输出只是第一份输出的相关副本. 真正增加训练信息的是角色之间的条件差异: 教师看到事后结果, 验证器看到标准答案, 测试生成器能执行程序, 检索助手能访问不同语料, 群体成员经历不同采样轨迹. 合作者提供的增量来自它掌握了被训练者当前状态中没有的信息.

设目标变量为 $Y$ , 学习者已有观察为 $X$ , 合作者的消息为 $M$ . 消息的理想价值可以理解为条件互信息 $I(Y;M\mid X)$ . 当 $M$ 在知道 $X$ 后仍能减少对 $Y$ 的不确定性, 合作才增加可学习信号. 如果消息只是把学习者自己的置信度换一种说法, 条件互信息接近零. 如果消息高度相关却系统偏向错误答案, 它甚至会让更新方向更差.

这个视角能统一四类方法. 特权教师的 $M$ 来自额外上下文; WebRL 的 ORM 从带真实奖励的历史轨迹学习成败模式; CURE 的测试通过执行结果区分候选; Tango 的验证器把完整推理转换成逐步反馈; 协作自博弈让不同工具暴露不同知识边界. 它们的共同点是制造条件差异, 再把差异压成训练信号.

信息差也会耗尽. 学生学会教师掌握的模式后, 教师的消息不再新鲜; 生成器适应当前验证器后, 验证器只能重复已经被利用的判据; 群体成员互相蒸馏后, 错误逐渐相关. 因此, 协同演化需要持续补充新证据或重新分化角色. 只把训练时间拉长, 不会自动维持信息增量.

互补错误比独立名称重要：论文常把两个网络写成 generator 和 verifier, 参数也分开, 但参数分开并不等于错误独立. 它们若共享预训练数据、架构和后训练偏好, 仍可能在同一类题上同时自信地犯错. 反过来, 同一个基础模型在获得不同工具、不同上下文或不同目标后, 也可能产生足够互补的误差.

可以用条件错误相关性描述互补程度. 对样本 $x$ , 令 $e_g(x)$ 和 $e_v(x)$ 表示生成器与验证器是否出错. 仅报告各自准确率看不出它们能否互相纠正; 更重要的是 $P(e_v=0\mid e_g=1)$ , 即生成器出错时验证器仍然正确的概率. 若这个概率很低, 验证器总体准确率再高, 也只是在容易样本上重复正确.

训练期间应按错误类型画联合矩阵. 计算错误、事实错误、约束遗漏、格式错误和奖励漏洞可能由不同角色捕捉. 一个验证器能抓算术错误, 不代表它能发现题意误读. 群体方法也要看少数意见是否在特定错误上更可靠. 单纯投票会淹没数量少但有专长的成员.

互补性还要经过分布外检验. 在共同训练数据上, 两个角色可能形成分工暗号, 看似互相纠正; 换题型后暗号失效, 错误重新同步. 保留从未参与双方更新的任务族, 再测联合错误结构, 才能区分真正能力互补和训练环内部适配.

合作把弱信号变成稠密信号：许多任务只有结果奖励. 一条长轨迹最终失败, 无法直接判断哪一步造成错误. 合作者的核心作用之一, 是把稀疏结果转成局部信号. Tango 的验证器逐步评论推理, WebRL 的评论者估计任务难度, CURE 的测试矩阵指出哪些输入区分候选. 稠密反馈缩短了信用分配路径, 让学习者在有限样本下更快更新.

稠密并不等于真实. 合作者只是从结果监督中学习到一个分解, 它可能把相关步骤误当成原因. 当生成器随后优化这些局部奖励, 小偏差会被放大. 因此, 过程信号适合指导探索, 最终接受仍要回到结果锚. Tango 让过程奖励权重随训练衰减, 就是在利用早期方向感的同时, 避免后期完全受一个可学习验证器控制.

评价稠密信号需要看反事实. 删除被标成错误的步骤, 结果是否改善; 保留该步但修改其他位置, 错误是否仍然出现; 将评论移植到结构相同的新题, 是否继续有效. 如果评论只与失败共现, 却不能预测干预后的变化, 它提供的是描述信号, 尚未成为可靠的信用分配.

2.2. 双方共同训练的动力学

移动目标与双时间尺度：生成器和验证器同时更新时, 每一方看到的学习问题都在变化. 生成器改变输出分布, 验证器上一轮学到的决策边界随即过时; 验证器改变奖励, 生成器的最优策略也跟着移动. 单模型训练常假设数据分布在一次更新附近近似稳定, 协同演化会主动破坏这个假设.

可把更新写成

\theta_{t+1}=\theta_t+\alpha_t\,g(\theta_t,\phi_t),\qquad \phi_{t+1}=\phi_t+\beta_t\,v(\theta_t,\phi_t),

其中 $\theta$ 是生成器, $\phi$ 是验证器. 学习率比例 $\alpha_t/\beta_t$ 决定谁在追谁. 验证器更新过慢, 生成器会找到旧判据的漏洞; 验证器更新过快, 它会紧贴当前生成器的偶然错误, 反馈剧烈波动. 双方同速也不保证收敛, 可能围绕某个策略循环.

一种思路是让验证器处于较快时间尺度, 近似跟上生成分布, 同时用外部锚限制其漂移. 另一种思路是阶段性交替: 固定生成器收集覆盖充分的数据, 更新验证器; 再短暂固定验证器更新生成器. 交替给诊断留下清晰窗口, 代价是每个固定阶段都会产生滞后.

判断动力学不能只看最终准确率. 应同时画生成器成功率、验证器在新旧分布上的准确率、两者的联合错误、奖励幅度和策略 KL. 如果生成器奖励持续升高而外部成功率不动, 奖励尺度或漏洞正在变化. 如果验证器只在最新轨迹上变准、历史轨迹上迅速遗忘, 系统可能进入追逐而非积累.

共适应与私人协议：两个模型反复互动, 会形成对彼此有用但对外部观察者无意义的协议. 生成器可能学会在推理中嵌入验证器偏爱的模式, 验证器则把这些模式当作正确性的捷径. 双方在共同训练分布上都表现更好, 换一个验证器、换一种表述或去掉暗号后能力消失.

私人协议并非总是坏事. 高效协作本来就会产生压缩通信. 问题在于协议携带的是任务信息, 还是绕过评估的身份信号. 可以打乱表面形式、交换合作伙伴、隐藏模型身份来区分. 若换一个同能力伙伴后仍能协作, 协议更可能表达可迁移语义; 若只能和训练搭档配合, 提升主要来自配对适应.

交叉配对矩阵是直接诊断. 训练多个生成器和多个验证器, 测量每个生成器与每个验证器组合的表现. 对角线远高于非对角线, 说明出现强烈共适应. 所有组合都提高, 才支持角色能力普遍增强. 还可以加入从未参与训练的冻结裁判, 观察它是否认同双方的新行为.

语言评论尤其容易形成风格捷径. 验证器可能把更长、更正式、包含特定短语的推理判为正确. 控制内容后扰动文风, 或保持文风后植入逻辑错误, 能检查它依赖哪一部分. 生成式验证器给出的解释也要接受同类测试, 一段合理评论可能只是为已做出的标签补理由.

协同演化的稳定点：理想稳定点应满足三件事: 生成器在外部目标上表现好, 合作者能识别生成器剩余错误, 任一方都无法通过偏离真实目标获得更高训练收益. 只满足前两项还不够, 因为奖励结构可能允许双方共同迁移到一个更容易但错误的约定.

在 CURE 中, 标准单元测试固定了“正确解”的含义, 生成测试只能在这个集合上提高区分力. 如果标准测试覆盖不足, 两个角色仍可能围绕漏测行为形成稳定点. 在 Tango 中, 标准答案固定最终正确性, 但推理过程的多种等价写法给验证器留下较大自由. 在协作自博弈中, 团队 $F_1$ 锚定答案, 检索成本决定多个同样正确策略中偏好哪一个.

稳定点的质量取决于锚覆盖了什么. 结果锚只保证可测结果, 不保证过程诚实; 测试锚只保证已覆盖输入, 不保证规范完整; 群体奖励只保证团队输出, 不保证成员报告真实置信度. 论文主张应与锚的范围一致, 不能从结果正确直接推出内部过程可靠.

若任务没有外部锚, 可以用保留环境、后验实验或独立成员降低共同漂移, 但这些仍是证据来源. 所谓完全自足的合作环一旦没有任何更新边界之外的检验, 就无法区分共同发现和共同幻想. 此时方法可能产生有效候选, 改进主张却缺少可识别性.

2.3. 验证器究竟学什么

判别结果、定位错误与提出修复：验证器可以承担三个层次的任务. 最弱层只判断整条答案对错; 中间层定位第一个错误步骤或违反的约束; 更强层提出能够修复错误的替代步骤. 三者需要的信息和风险不同. 结果判别易获得标签, 但信用分配粗; 错误定位更有指导性, 标签昂贵; 修复建议直接推动生成器, 也最容易把验证器自己的错误写入策略.

只用结果奖励训练生成式验证器时, 错误定位属于潜变量. 许多不同评论都能导向相同最终标签, 训练不会自动选择因果上正确的那一条. ProcessBench 之类的过程评测能检查迁移, 仍要注意其标注风格与训练题型. 更强的检验是按照评论修改解答, 看修复成功率是否提高.

可以把验证器输出拆成可核查部分: 引用原步骤, 指出违反的规则, 给出局部反例, 再判断整体影响. 数学题可重新计算等式, 代码可生成触发失败的输入, 网页任务可指向未满足的页面状态. 可执行证据缩小了语言评论的自由度, 也让验证器的能力与文风分离.

生成器需要哪一层反馈取决于训练阶段. 早期模型错误多, 粗略方向就有价值; 中期需要定位以提高样本效率; 后期错误稀少且复杂, 验证器若不能给出可核查反例, 容易制造噪声. 固定一种反馈形式贯穿全程, 往往无法匹配错误分布的变化.

验证器的选择性风险：验证器平均准确率相同, 对训练的影响可能完全不同. 假阳性把错误答案奖励为正确, 直接推动策略复制漏洞; 假阴性拒绝正确答案, 主要损失探索效率. 当生成器反复优化验证器时, 少量稳定假阳性尤其危险, 因为策略会集中到这些区域.

因此要报告条件错误率. 设 $V=1$ 表示验证器接受, $Y=1$ 表示真实正确. $P(V=1\mid Y=0)$ 衡量错误通过, $P(V=0\mid Y=1)$ 衡量正确拒绝. 还要按生成器概率和训练轮次分层: 位于高奖励尾部的假阳性, 比随机样本中的假阳性更能决定学习方向.

生成器会改变错误类型, 静态测试集容易低估风险. 评测集应包含当前策略专门搜到的高奖励失败, 并保留过去轮次的漏洞. 这种对抗式测试用于确认合作信号仍与外部目标对齐, 无需把验证器改造成竞争角色.

拒答和不确定性可以降低假阳性. 验证器不必对每条轨迹给确定标签; 对证据不足样本输出保留, 交给更强工具或人工检查. 训练时应避免把拒答简单视为错误, 否则模型会被迫猜测. 覆盖率与风险的曲线比单一准确率更能描述验证器是否适合作为奖励源.

生成式验证的随机性：Tango 强调生成式验证器需要采样, 随机反馈让生成器更难针对固定分数过拟合. 这种随机性有两面. 多次采样可以暴露不同错误视角, 相当于从一个评论分布中获得集成; 方差过大时, 同一解答的奖励不稳定, 策略梯度噪声增加.

应把不确定性拆成两类. 认知不确定性来自验证器不知道答案, 多次采样会给出相互冲突判断; 表达多样性则是不同文字指向同一结论. 只看文本差异会把两者混在一起. 对最终标签、错误位置和证据分别计算一致率, 才能判断采样带来的是多角度还是摇摆.

集成奖励可用均值、保守分位数或需要多数同意. 均值充分利用信号, 容易被少数高分误判影响; 保守规则降低错误通过, 也会压制新颖正确解. 最佳聚合依赖错误代价. 在自动改进闭环中, 一个错误更新可能污染后续数据, 通常应比一次漏收正确样本更谨慎.

随机性也不能代替独立性. 同一验证器采样十次, 共享相同盲区; 十个由相同数据训练的验证器也可能共享偏差. 真正的多样性来自不同证据、不同归纳偏置或独立保留集. 采样集成主要降低方差, 无法消除系统误差.

3. 课程如何随双方能力变化

3.1. 难度窗口必须跟着移动

WebRL 保留评论者估计分数在 0.05 到 0.75 之间的任务, 体现了课程学习的基本逻辑. 太容易的任务几乎没有梯度, 太难的任务只产生失败. 对合作式训练, 难度还要相对于双方共同能力定义: 生成器完全不会、验证器也无法判断的样本没有稳定信号; 生成器会做、验证器却不会判的样本可能反向训练.

课程至少有两个坐标: 解题难度与评估难度. 有些题答案难找但容易验证, 比如可执行程序; 有些答案容易猜, 正确性却难确认, 比如开放论证. 合作训练应优先选择生成器有提升空间且合作者仍可靠的区域. 只按生成器成功率选题, 会把系统推向验证器的盲区.

可以维护二维能力图. 对每类任务估计生成器通过率 $p_g$ 和验证器条件准确率 $p_v$ . 当 $p_g$ 过高, 样本信息少; 当 $p_g$ 过低, 正向轨迹稀缺; 当 $p_v$ 低, 反馈不可信. 随双方进步, 可训练区域向更难任务移动. 这比固定难度阈值更能适应协同变化.

难度估计本身会偏. 评论者与生成器共用模型时, 它可能把陌生表述误判为困难, 把熟悉模板误判为合适. 随机抽样人工核验、用实际成功率回标、保留多种生成来源, 能减少课程越来越窄. WebRL 的人工审查提示和 GPT-4o 过滤正是在弥补自动任务生成的可行性盲区.

新颖性与可验证性的取舍：自生成课程希望不断产生新任务, 但越新颖的任务越可能缺少可靠判据. 复制已有题只会强化原分布, 大幅改写又可能生成矛盾或不可完成的指令. 课程生成需要在新颖性、可解性与可验证性之间取舍.

新颖性应按任务结构衡量, 不能只看文本距离. 改实体名称很远, 推理骨架仍相同; 保持词汇不变、改变约束组合, 反而可能需要新算法. 可以抽取状态空间、操作集合和验证条件, 按结构覆盖选择任务. 对无法形式化的领域, 至少用多模型重述和反事实修改检查题意是否稳定.

可验证性可以分级. 强验证由执行器、数据库或形式证明给出; 中等验证来自独立模型与引用证据; 弱验证只有群体一致. 课程可让新颖任务先停留在评估与探索阶段, 等获得更强证据后再进入权重更新. 这样不会因追求覆盖而把未经确认的样本直接写入模型.

合作双方还可以主动提高可验证性. 生成器不只回答问题, 也给出测试、证据或可复现实验; 验证器提出最能区分候选的查询. 这把课程生成从“出更多题”变成“出能产生判别信息的题”. CURE 的测试生成就是一个受限例子.

回放保存了什么：在线协同演化会遗忘过去分布. WebRL 用经验回放保留旧任务, 但回放不应只保存成功轨迹. 过去的高奖励漏洞、验证器误判和双方分歧样本更能约束漂移. 若缓冲区只按当前模型置信度筛选, 它会逐渐删除模型已经不相信但可能正确的反例.

一个完整回放单元应包含原任务、生成轨迹、当时验证信号、外部结果以及模型版本. 重新训练时, 可以判断旧奖励在新验证器下是否改变, 也能发现生成器是否重新学会旧漏洞. 没有版本信息, 同一个分数无法解释, 因为评分函数已经移动.

回放比例影响可塑性与稳定性. 旧数据太多, 课程无法向新能力区移动; 太少, 系统围绕最新分布震荡. 可按错误严重度、代表性和遗忘速度分配采样权重. 已稳定掌握的容易题降低频率, 曾出现灾难性假阳性的样本长期保留.

回放还提供了一种外部时间锚. 如果新一轮模型在当前奖励上进步, 却在历史固定检查集上退化, 提升很可能来自评价漂移. 把历史表现与当前表现并列, 能区分能力积累和目标移动.

参考文献

Kaiqi Wang, Wenjin Hou, Yuchen Yan 等 (2026). Diving into Reliable Self-Evolving Agents: A Survey. §4.3 Cooperative Co-Evolution, §4.4 Reliability and the Fixed-Scaffold Limit.
Zehan Qi, Xiao Liu, Iat Long Iong 等 (2025). WebRL: Training LLM Web Agents via Self-Evolving Online Curriculum Reinforcement Learning. ICLR 2025. §3, 表 3, 附录.
Yinjie Wang, Ling Yang, Ye Tian, Ke Shen, Mengdi Wang (2025). Co-Evolving LLM Coder and Unit Tester via Reinforcement Learning. NeurIPS 2025. §3.1–§3.3, 定理 3.1, 表 1.
Kaiwen Zha, Zhengqi Gao, Maohao Shen, Zhang-Wei Hong, Duane S. Boning, Dina Katabi (2025). RL Tango: Reinforcing Generator and Verifier Together for Language Reasoning. NeurIPS 2025. §1, §3, 表 1, §4 冻结验证器分析.
Jacob Eisenstein, Reza Aghajani, Adam Fisch 等 (2025). Don't Lie to Your Friends: Learning What You Know from Collaborative Self-Play. COLM 2025. §3–§5, 表 2, 局限.

上一篇: 2.2.1 · L1: 竞争式自博弈

下一篇: 3.1.1 · L2: 提示, 程序与架构