2.2 · 多智能体演化

单模型自训练遇到的核心困难是信号闭合：生成者、批评者和筛选者共享参数或训练数据时，同一种盲点会在循环里反复确认。引入第二个模型提供了一个自然的分叉。双方可以竞争，用相对胜负代替绝对评分；可以扮演出题者和解题者，让课程随能力变化；也可以合作，一个生成、一个评估或互相提供训练数据。

第二个模型并不会自动带来独立证据。若两边从同一底座初始化、读取同一批数据、由同一个奖励更新，它们可能只是在两个采样流里重复同一种偏差。多智能体方法真正改变的是交互产生训练信号的方式。读这条路线时要把参与者、可观察信息、支付函数和参数共享关系写清楚，再讨论「竞争」或「合作」。

1. 一张统一的博弈图

设两个参与者的策略为 $\pi_A$ 与 $\pi_B$，环境根据联合轨迹 $\tau$ 返回信号 $r_A(\tau)$、$r_B(\tau)$。零和竞争满足 $r_A=-r_B$；一般和合作允许双方同时获益；出题—解题结构则把一方的动作变成另一方看到的任务。一次更新可写成

当另一方也在变化时，每个参与者看到的学习环境都不是平稳的。性能波动可能来自自己学会了新策略，也可能只是对手暂时变弱。单边对固定基线的胜率、双方当前版本的相对胜率和整条谱系上的循环优势必须分开报告。

竞争式方法的朴素 baseline 是让当前模型区分自身回答和参考回答，随后朝胜者更新。对称自博弈进一步让同一模型的历史版本互相提供正负样本。它减少了对固定人工偏好数据的依赖，却容易围绕当前对手过拟合。若 $A$ 胜 $B$、$B$ 胜 $C$、$C$ 又胜 $A$，只保留最新冠军会丢掉策略多样性，谱系或策略池因此成为重要组件。

出题者—解题者结构把课程生成也交给循环。出题太易，解题者没有梯度；太难，奖励长期为零。有效任务通常落在当前能力边界附近，因此出题者要同时考虑可解性、难度和新颖性。可执行验证器在这里很重要：代码、数学等任务可以由环境判定结果，开放式任务若仍靠双方互评，出题者和解题者可能共同找到评价器的漏洞。

2. 合作产生的是互补信息还是共同幻觉

合作路线常让一个模型生成候选，另一个模型提供评估、修订或课程。若评估者固定且更强，它相当于外部教师；若评估者也随生成者训练，则双方构成协同动力学。后者可以降低长期依赖昂贵教师的成本，也会让监督标准随学生一起漂移。

判断互补性不能只看模型数量。真正有用的差异可能来自不同工具、不同训练数据、不同观察视角或不同优化目标。两个完全同构的模型即便随机种子不同，也可能在高概率错误上高度相关。设两者在任务 $x$ 上的错误指示为 $e_A,e_B$，组合收益取决于 $\Pr(e_A\ne e_B)$，而不只是各自的平均准确率。若错误高度相关，投票和互审能纠正的空间很小。

合作还会改变责任归因。评估者提出的反馈被生成者采纳后，最终答案变好，不能据此断言评估者学会了更好的判断；生成者反过来提供数据使评估者分数提升，也不能说明这把尺子更接近任务目标。至少需要三个对照：固定评估者只更新生成者、固定生成者只更新评估者、双方共同更新。再把最终版本拿到不参与双方训练的外部测试上，才能看出协同是否超过单边学习。

3. 稳定性来自锚、谱系和对手池

多智能体训练的动态不能用单个终点分数概括。策略在轮次间循环、短期胜率上升而通用能力下降、双方一起利用奖励漏洞，都是常见结果。变化中的系统需要固定参照，增加训练轮数无法消除这些混淆。

第一类参照是外部可验证任务。它们不参与训练，只在里程碑版本上评估。第二类是历史策略池，当前版本要同时面对多个祖先和不同风格的对手，避免只克制最近一版。第三类是谱系记录，每次更新保存父版本、训练对手、样本来源和接受依据。第四类是资源口径：双方训练引入的生成量、评估调用和搜索预算要计入成本，不能拿双倍甚至数十倍计算得到的最终分数直接和单模型 baseline 比。

竞争和合作可以组合：局部竞争制造课程，全局合作共享经验，固定环境判断结果。竞争提供相对压力，合作提供互补信息，验证器提供不随双方一起漂移的锚。缺少验证锚时，系统即便形成丰富的内部生态，也只能证明双方在彼此定义的游戏里发生了变化。

策略池的作用不只是保存旧版本。它把一个随时间变化的单一对手，变成覆盖不同能力与漏洞的测试分布。设当前策略对第 $j$ 个历史策略的收益为 $u_j$，训练目标若只最大化最近一项 $u_{latest}$，容易产生循环克制；对策略池分布 $w_j$ 优化 $\sum_jw_ju_j$，可以降低遗忘旧对手的速度。权重也不能只按胜率更新，否则难打但重复的对手会挤掉少见策略。通常要同时考虑难度、新颖性和代表性。

群体规模增大后，信用分配会成为新瓶颈。一次合作成功可能由某个成员提供关键线索，也可能由集成投票消除噪声。若所有成员都用团队奖励更新，搭便车策略也能被强化；若只奖励最终被采纳的发言，又会低估那些改变后续搜索方向的中间贡献。受控消融可以逐个移除角色或交换模型，估计各部分的边际作用。对于长轨迹，还可比较事实贡献、决策贡献和验证贡献，避免用一个总奖励解释全部协作行为。

多智能体路线最终仍要回到跨分布能力。训练对手之间的高胜率只说明在当前生态中的相对位置，不能推出面对人类、不同模型或新工具时仍然有效。外部任务既要包含双方熟悉的能力轴，也要加入训练博弈没有直接奖励的能力，才能检查竞争是否把模型推向狭窄策略、合作是否形成共同盲点。

竞争式自博弈 讨论 SPIN、SPAG、Absolute Zero 等路线，重点看胜负如何转成训练信号、课程怎样随能力移动。合作式协同演化 比较固定评估者、共同训练和群体信号，并说明模型层为什么仍然受外部评价上限约束。两篇共同回答一个问题：第二个模型究竟引入了独立信息，还是只让原有反馈回路变得更复杂。