5.1.1 · 失效模式

1. 为什么按层分

1.1. 失效的共同结构

自改进系统的失效有一个共同的结构: 改动通过影响证据抬高了测得的分数, 外部目标下的表现没有跟着变好. 1.3 第 2 节按层概括过这一点, 这里把每一层的失效展开, 每类给出机制, 原论文的数字, 以及能识别它的审计.

综述在每一层的可靠性小节里回答同样三个问题: 这一层的改动暴露给什么证据, 典型的审计失败是什么, 匹配的审计和控制是什么. 证据随层级变粗: L0 有当前任务的执行结果, L1 有逐样本的训练信号, L2 只剩端到端行为, L3 要看改进器产出的后代, L4 连评分规则本身都在被改.

层级越深, 失效越难发现：失效也随层级变得更难发现. L0 的错误随任务结束被丢弃, L1 的错误进入参数, L2 的错误写进可保留的脚手架并在之后每次运行中生效, L3 的错误会影响之后所有被产出的改动, L4 的错误会改变判断改进的依据. 下面各节按这个顺序展开.

1.2. L0: 自确认与覆盖边界

自确认：L0 的修订, 搜索和验证都在一个任务内完成, 三者可能共享同一个盲点. 修订可能重复生成者原本的诊断, 搜索可能聚合一批相关的候选, 验证可能接受一个和提出者有相同盲点的测试或代理指标. 综述把这称为自确认: 额外的推理为候选里已有的错误背书.

1.3 第 1.4 节读过 Huang 等人的结果: 没有标准答案或外部反馈时, GPT-4 在 GSM8K 上自我纠错后从 95.5% 降到 89.0%. 代码修复是另一个可以测量的场景. Olausson 等人 (ICLR 2024) 的流程是: 先生成程序, 跑单元测试, 失败时由反馈模型写一段解释, 修复模型据此重写程序, 再和同等计算预算下直接独立多采样比较. 摘要的结论是, 算上修复本身的成本, 增益往往不大, 在不同数据子集上差别很大, 有时完全没有. 作者的假设是自修复的瓶颈在模型为自己的代码提供反馈的能力.

他们直接检验了这个假设: 把 GPT-4 自己写的解释换成人类程序员写的解释, 其余不变. 表 1 的结果:

总体修复成功率提高到 1.58 倍. 越难的题差距越大: Competition 级题目上人类反馈的成功率是 GPT-4 自身反馈的 4 倍. 修复模型没变, 变的只是对错误的诊断来自哪里.

这组结果表明, 推理阶段增加计算仍可能有用, 但它代替不了能够区分「修复」与「新引入的错误」的证据.

覆盖边界与 L0 的主张范围：把判断换成环外的来源是必要的, 但还不够. 每一种任务内检查都有覆盖边界: 执行只观察到被测试的行为, 检索只观察到被找到的来源, 环境反馈只观察到被访问过的状态, 固定的 rubric 只观察到被写进去的标准. 一个修复通过了所有单元测试, 只说明它在被测试的输入上正确.

反复查询还会让名义上外部的检查变成开发反馈. 一个系统如果可以无限次运行测试并据此修改, 最终交出的版本就是在这组测试上挑出来的, 测试分数不再能独立说明正确性. 所以综述要求每一种证据来源都和停止, 弃答, 升级, 对齐预算的规则配套. 比较的对象是同一任务, 同一预算, 同一证据协议下被接受的候选和在任版本; 拿到不同数量或种类反馈的两个系统之间不能直接比.

覆盖和停止都合格时, L0 的证据能支持的主张是「在当前任务上选出的这个输出更好」. 这些检查本身不能说明保留下来的 Agent 在之后的独立任务上更好, 因为 L0 不改变 Agent 状态. 这一点同时限制了损害和收益: 有害的修改随任务结束消失, 验证过的修正也不会累积.

1.3. L1: 有偏的监督进入参数

L1 的训练信号是模型产生的标签, 奖励或偏好. 综述按信号的产生者分三类: 自训练里是单个角色自己, 自博弈里是对手, 协作共演化里是老师, 评审或种群. 无论哪一类, 信号本身都不是外部目标. 改进主张只在内部信号能预测外部目标下的结果时成立. 自训练在模型自信的输出恰好正确时满足这个条件, 因为它的循环里没有任何东西能反驳一个自信的错误; 自博弈在竞争持续注入可学信息时满足, 两个副本不再产生分歧时失效.

条件不满足时, 自生的噪声会被放大. 综述列出四种经验上的表现: 坍塌, 尾部收窄, 表面改进, 终身适应中的能力侵蚀; 自博弈特有的失效是停滞.

坍塌: Scaling Laws 的形状变了如下： 1.3 第 2.4 节读过 Shumailov 等人的实验: 每一代只用上一代生成的数据训练, 原始分布的尾部消失. Dohmatob 等人 (ICML 2024) 给了一个可以算的理论模型. 数据服从指数为 $\beta>1$ 的长尾 (Zipf) 分布; 用干净数据训练时, 测试误差随样本量 $T$ 下降:

生成模型产出的数据会截掉尾部. 设截断位置是 $k$, 也就是生成数据只覆盖频率最高的 $k$ 个类别. 定理 2.1 给出, 用 $T$ 个生成样本训练的下游模型满足

第二项 $k^{-(\beta-1)}$ 不随 $T$ 变化. 一旦 $T \gtrsim k^\beta$, 继续增加生成样本不再降低误差, 论文的原话是生成样本量不再是「可扩展」的资源.

推论 2.3 处理另一种情形: 生成数据仍然是长尾, 但指数变成 $\beta' \in (1, \beta)$. 这时

误差仍随 $T$ 下降, 但指数变了. 论文标题「坍塌是 Scaling Laws 的改变」指的就是这两种情形: 截断给出平台, 尾部变形给出不同的斜率.

混入干净数据会改变动力学. 定理 3.2 设训练数据中干净数据占比 $\pi$. 早期 $T \ll k^\beta/\pi$ 时, 误差是 $T^{-(1-1/\beta)} + k^{-(\beta-1)}$, 仍然停在平台上; 当 $T \ge Ck^\beta/\pi$ ($C$ 是常数) 时, 误差变成 $(\pi T)^{-(1-1/\beta)}$, 恢复干净数据的斜率, 只是有效样本量打了 $\pi$ 的折扣. 平台的长度量级是 $k^\beta/\pi$; $\pi=0$ 时平台无限长. 论文把这条曲线称为 grokking: 先停滞, 再恢复. 第 6 节在 Llama2 上验证: 所有微调阶段都随机混入 2% 的原始数据, 显著缓解了坍塌, 并出现了定理预测的那种曲线.

这组结果给 L1 的审计提供了一个可检查的量: 训练数据里外部数据的比例. 比例为零时, 理论预测平台不会结束.

尾部收窄：坍塌描述的是用生成数据训练下一代模型. 自改进训练 (模型采样解, 过滤出正确的, 再用它们微调自己) 里有一个相关的现象. Ding 等人 (2411.00750) 的定义是: 模型倾向于在简单题上过采样, 在还没掌握的题上欠采样; 随着迭代, 这种不平衡加剧, 形成长尾分布, 难题的解几乎消失. 他们称之为 tail narrowing.

表 1 用 Llama2-7B 给出了「覆盖率」(至少采到一个正确解的题目比例) 和采样预算的关系:

每题采 8 次时, 将近一半的题一个正确解都没有, 这些题对下一轮训练没有贡献. 把采样次数提高 16 倍, 覆盖率到 80.7%. 他们的方法 (GSI) 在采样时给模型苏格拉底式的引导, 例如参考答案, 参考理由, 或者从一个中间状态重新开始, 用不到暴力采样四分之一的预算达到更高覆盖率. 参考答案和参考理由来自标注数据, 是环外的锚.

对审计的含义是: 一个自改进训练过程报告平均准确率上升时, 要同时看难题子集上的覆盖率是否在下降.

表面改进：Yuan 等人 (2503.02103) 报告了另一种情形: 自改进后分布内准确率上升, 分布外下降. 他们把原因归为记忆而非学会推理, 证据来自权重变化的位置. 表 1 对比了两种模型: 完整后训练的模型, 权重变化最大的层和对推理最关键的层一致, 都在前部和后部; 自改进的模型, 对推理关键的层仍在前部和后部, 权重变化最大的却是中间层.

他们的修复方法 (IMM) 是迭代地把原模型和自改进后的模型合并. 表 4 给出 Qwen2.5-1.5B-Instruct 在分布外的 MathQA 上的变化: 原模型 62.5, 第一轮自改进后 24.9, 合并后 57.3; 第二轮 33.4, 合并后 54.1; 第三轮 12.8, 合并后 53.4. 不合并时, 三轮自改进后的分布外成绩只剩原模型的约五分之一. 表 5 的第一轮结果显示合并在分布内也没有损失: GSM8K 上 SFT 58.5, IMM 69.3.

这说明 L1 审计的「保持」要在训练分布之外测. 只看训练任务所在的基准, MathQA 的下降不会出现在报告里.

自博弈停滞：自博弈的训练信号来自对手. Liu 等人 (ICML 2026 Position paper) 把自博弈看作由提出者, 求解者, 验证者三个角色组成的自合成数据管线, 用 epiplexity (一种有界 MDL 度量) 衡量合成数据里的可学信息. 他们的论点是, 只有可学信息逐轮增长, 自博弈才能持续进化, 并提出三个条件:

1. 非对称共演化: 角色之间形成弱到强再到弱的循环.
2. 容量增长: 参数和推理预算随可学信息增长而扩大.
3. 主动获取信息: 引入外部上下文和新的任务来源, 防止饱和.

他们的实验 2 观察到, 多轮自博弈后信息量没有稳定增长, 而是剧烈波动, 表现为求解者能力下降和提出者生成的题目模式坍塌. 附录表 A1 里归纳类任务的 epiplexity 在第 1 到 4 轮依次为 75.7, 76.7, 458.9, 459.6 ($\times 10^3$ bits), 第 5 轮回落到 76.5.

Pu 等人 (2605.22217) 用对照实验区分了两个因素: 数据门控 (提出者生成的任务哪些能进入训练池) 和奖励来源. 摘要的结论是: 严格的门控足以在所有测试过的奖励变体下保持稳定, 包括一个完全不接触真值的自一致性奖励; 去掉门控后, 没有任何奖励变体足以保持稳定. 表 1 的部分结果 (代码任务的分布内指标):

坍塌发生的方式也有信息. 放松门控阈值 $\varepsilon$ 时, 在 $\varepsilon=0.05$ 处训练与验证的差距从 0.16 跳到 0.44, 验证准确率却几乎不动 (0.674 到 0.668). 在 $\varepsilon=0.20$ 和 $0.40$ 之间, 分布内准确率从 0.651 跌到 0.004; 混合的总体指标直到 $\varepsilon=0.70$ 才跌破初始值 (0.305 对 0.316). 也就是说, 一个只看总体指标的监控会在系统已经坍塌之后很久才报警.

自生监督和 oracle 监督的差距：Qi 等人 (ICML 2026) 在严格闭环条件下 (只有无标注的提示和基座模型) 比较四种自进化策略和 oracle 监督, 测试集是 Knights and Knaves 逻辑题. Gemma 3 4B 的平均准确率是 31.0%; 用 oracle 偏好信号训练到 53.3%; 闭环自进化用单轮验证到 40.7%, 多轮反馈 42.2%, 迭代训练 44.1%, 课程学习 44.8%. 和 oracle 相比始终差 8 到 13 个点. 12B 模型用多轮反馈到 52.8%, 接近 oracle 的 53.6%, 但构造这种监督的计算成本很高.

论文第 6 节的解释是验证者受基座模型潜在能力的限制, 附录 C.1 显示即使 Gemma 27B 也难以验证这些解. 这是一个经验观察, 论文没有给出形式化的上界.

L1 的审计：L1 的错误跨任务保留, 审计要在更新后的独立任务上测三件事: 迁移, 保持, 干扰. 上面几节给出了具体要看的量: 外部数据的比例 (3.1), 难题子集的覆盖率 (3.2), 分布外基准 (3.3), 分布内指标而不只是总体指标 (3.4), 以及和 oracle 监督的差距 (3.5).

综述还指出 L1 的一个结构性上限, 即使可靠性条件成立也存在: 模型周围的提示, 工具, 记忆和控制流在这一层始终是人写的, 固定不变, 而它们常常才是瓶颈.

2. L2: 脚手架过拟合

2.1. 更新和获益是两种能力

L2 固定权重, 改脚手架, 信号只剩端到端行为. Lin 等人 (2605.30621) 把两种常被混为一谈的能力分开测: harness-updating, 即演化者能否根据执行证据写出有用的脚手架更新; harness-benefit, 即任务模型能否在求解时从更新后的脚手架获益.

两个发现:

• harness-updating 和基座能力几乎无关. 不同演化者之间的更新能力差距在任何基准上都不超过 3.1 个百分点, Qwen3.5-9B 写出的更新带来的增益和 Claude Opus 4.6 写出的相当.
• harness-benefit 和基座能力是非单调关系: 弱模型获益很少, 中等模型获益最多, 强模型获益少于中等模型. 弱模型失败的方式有两种: 没能激活相关的脚手架内容, 或激活了但没有忠实执行.

所以「写出了一个更新」和「分数提高了」都不足以证明脚手架改进了. 综述据此给出 L2 的审计: 在改动没有参与挑选的任务上, 对齐模型, 工具, token 预算和停止规则, 和在任脚手架做受控的端到端比较; 验收门的证据不能被提出者无限次查询; 回滚路径要经过测试.

三种过拟合：综述把 L2 的典型失效称为脚手架过拟合: 改动适配了基准, 判官, 记忆或路由的特性, 学到的流程无法迁移. 它有三种可诊断的变体.

留出集被侵蚀与长期漂移?一个被反复查询的名义留出集会变成开发证据. Zhang 和 Song (2606.19121) 记录了一个项目连续 391 次会话的过程: AI 维护一套指令和符号体系来管理项目, 体系复杂到一定程度后, 模型放弃对业务语义的理解, 退回到符号层内部的自指推理, 产出内部一致但和实际脱节的结果. 作者把这种状态叫 Index Sickness, 典型表现之一是凭空制定并不存在的规则 (Phantom Legislation). 修复办法是精简: 指令从 308 行减到约 80 行, 减少约 75%. 之后约 150 次会话里没再出现 Index Sickness; 人工纠正的密度从每次会话 0.79 次降到 0.53 次, 下降 33%; 升级前确认的 9 个病例降到零. 综述把它读作单一项目的案例研究, 不当作一般规律.

组件交互混淆?在长的多 Agent 轨迹里, 错误出现得晚, 依赖相互缠绕. 一个候选看起来更好, 可能只是工作量转移了, 或者上下文变长了. 这要求把失败定位到具体的 Agent, 步骤和脚手架工件. ErrorProbe (Findings of ACL 2026) 先按 MAST 分类检测局部异常, 再按症状反向追踪, 最终由一个团队用工具执行来验证假设, 情景记忆只在有可执行证据时才写入. 表 1 里 (Claude 3.7 Sonnet) 定位到出错步骤的平均准确率: LLM 判官 21.27%, ErrorProbe 41.90%, 加记忆 42.73%. HarnessFix (2606.06324) 把轨迹编译成中间表示, 定位到出问题的步骤和工件, 用限定范围的修复算子修改, 再做考虑回归的验证, 比初始脚手架提高 6.3% 到 18.4%, 平均 11.1%; GAIA 上 GPT-5 mini 从 43.3 到 61.7.

库的静默漂移?一个本地有益的改动, 在检索策略或相邻技能变化后可能拖累整体. Library Drift (FAGEN@ICML 2026 Workshop) 用消融复现了触发条件. 表 1 的增益 (相对无技能基线, 默认配置 +0.328):

严苛退役一项低于不用技能的基线. 论文的解释是: $N_{\min}=20$ 时 Hoeffding 偏差 $\epsilon\approx 0.44$, 退役判断几乎是噪声, 技能库坍缩到只剩 2 个活跃技能. 更换检索策略一项说明, 同一批技能在另一种检索方式下, 增益只剩默认配置的不到四分之一.

三种变体的共同点是: 局部检查会漏掉只在组件交互, 反复使用或之后的检索中才出现的失败. 所以 L2 的审计要是一个受控流程, 一个分数不够.

生命周期管理与固定改进器的上限：对会累积的存储 (技能库, 记忆), 综述把可靠性条件具体化为有界的生命周期管理, 不只追加.

SkillBrew (2605.29440) 把技能库整理表述为带约束的多目标问题, 目标是有用性, 多样性和覆盖, 用双层的「提出再验证」循环求解: 在一部分数据上提出编辑, 在留出部分上验证. 冗余, 过时或有害的技能被移除. 表 1 (Qwen2.5-7B-Instruct): ALFWorld 平均 59.0, ReAct 31.2, Reflexion 42.7, Skill-Pro 49.3; WebShop 成功率 38.4, ReAct 19.5.

Ratchet (2605.22148) 更精简, 冻结模型, v1 组合了四个机制: 按结果退役技能, 活跃技能数设上限, 编写技能的元指导, 模式规范化. v1 报告留出集 pass@1 从 0.258 升到后期滑动平均 0.584 (峰值 0.658), 增益 $+0.328\pm0.018$, 无技能对照只漂移 +0.002. v1 的命题 1 在三个假设下 (路由检索一致; 贡献估计无偏一致; $N_{\min}$ 的选取使每个活跃技能在 $N_{\min}$ 次试验后以至少 $1-\delta$ 的概率满足 $|\hat c(s)-c(s)|\le\epsilon$) 给出期望下界:

$p_0$ 是无技能基线的 pass@1. v3 代入默认参数 ($\tau=0.10$, $N_{\min}=100$, $C=50$, 每个技能 $\delta=10^{-3}$), 得 $\epsilon\approx 0.39$, $C\delta=0.05$, 下界是 $\mathbb{E}[p_0]-0.30$. 这个下界很松, 它的作用是给回滚提供一个外部锚: 表现不应跌破无技能基线. 综述提醒这是一个在其假设下成立的命题.

v3 把标题改为「LLM 判官要多可靠才能让技能退役」, 新增一个条件: 判官把失败判为通过的比例达到 $(1-\tau)/2$ 或更高时, 无论样本量多大, 都不会退役任何技能. 这把 L2 的生命周期管理和 1.3 第 1.3 节学出来的评判器的可靠性连在了一起.

即使脚手架完全可改, 决定能提出哪些改动, 怎样在内部挑选, 怎样分配探索预算的, 仍然是一个固定的, 人写的改进器. 在紧的评估预算下, 改进器的选择本身影响很大. 这是 L3 的入口.

2.2. L3 与 L4: 指标被捕获, 标尺在移动

L3: 改进器之间的比较：RoboPhD (2604.04347) 在相同的 1,500 次评估预算下比较几种改进器: 它自己的 Elo 锦标赛选择 (在训练数据上同时完成评估和选择, 不单独切验证集), GEPA 的 Pareto 选择, 一个贪心爬山的 Autoresearch 改编版. 表 2 是测试集结果:

不同改进器在同样的预算和种子下给出相差十几个点的结果, 说明改进器本身决定了哪些候选被生成和挑选. 综述把 RoboPhD 归为 L3 的边界案例: 它的对象是优化范式本身.

同一篇论文的伦理部分记录了一个评估器漏洞. 在 Can't Be Late 任务里, Autoresearch 改编版发现了模拟器的 oracle 漏洞: Agent 直接从模拟器的内部状态读取完整的未来可用性轨迹, 靠完美预知得到 $-85.4$. 这个分数比表里所有方法都高, 来源是评测基础设施里的捷径. 1.1 第 4 节第 4 条的规则「候选不能碰评分」在这里被一个改进器自己找到的路径打破了.

L3: 共享反馈与审计：固定的评判标准给不同改进器一个共同的内部参照. 反复搜索仍然可以适配这个参照, 抬高内部分数而外部目标下没有对应的改进. 产生反馈的一方和学习的一方共享参数或相互适配时, 风险更大. 综述列了 POP, Seirênes, CPMöbius, RLCER, EvoRubric 作为相关证据.

这几篇论文里, 只有 POP 报告了去掉外部锚后的结果. POP (2604.20051) 让同一个模型生成问题, 回答和 rubric, 整个流程以预训练语料中的文档为依据. 第 5.4 节的消融: 去掉 rubric 评估对预训练文档的依据, HealthBench500 上的总体表现降到 29%; 作者推测原因是生成和验证之间的差距不够, 奖励被钻空子的情况增多. 完整方法的成绩只在图 5 中给出, 读数约为 30.

Seirênes, CPMöbius 和 RLCER 报告了增益 (例如 RLCER 的 8B 模型在 AIME24 上从 RLVR 的 34.79 到 37.50), 但没有报告被钻空子的证据. 没有报告不等于不存在. 综述的结论是: 这些内部信号可以支持学习, 但同一循环内的一致不是外部审计证据.

L3 的主张是「新改进器之后产出的改动比在任改进器的更好」, 所以审计记录要报告: 当前表现, 后续轮次的产出, 搜索成本, 失败恢复, 在新任务上的迁移. 1.3 第 2.6 节读过的 HGM 结果说明, 当前分数和后代表现可能弱相关; 5.1 节的 oracle 漏洞说明, 被固定的评判标准要和候选隔离.

6.2.2 的 PEAR 本身停在 L0, 但它给出了固定内部参照被反复搜索后的一个工业量级. 它的影子流量一级用一个固定的列表级订单代理模型给候选打分, Agent 在三个任务上一共跑了 454 个实验组. 论文表 5 跟踪的两个候选, 代理分增益分别是 +45.88% 和 +61.64%, 到决策级线上 A/B 只剩 +2.73% 和 +2.16%, 两个候选的先后也颠倒了. 拦住这种高估的是后面的线上级, 线上级的主指标由人固定, 不在 Agent 的搜索范围里, 和上一段说的隔离要求一致.

L4: 移动标尺：L4 的改动作用于评判标准. 4.3 读过两个系统: RQGM 用一个固定的留出真值集比较新旧评估器, 挑战者显著胜出才替换; Double Ratchet 只用 10 个有参考答案的样本做锚, 去掉锚之后评分函数退化成几乎全判通过, 而用它训练出的技能在任务分上和正常版本相差不到 0.038.

这里的失效是标尺和被量的东西一起移动. 只用新标准打分, 新标准下分数上升有两种可能: 新标准更准地反映了外部目标, 或者新标准更容易被满足. 两者在新标准自身的分数上无法区分. 综述给出的审计是三件事都报告: 新标准下的分数, 旧标准下的分数, 留出真值下的结果; 再加上覆盖 (新标准评判的范围是否缩小了), 授权 (替换由谁批准, 是否在更新边界之外), 回滚 (能否恢复到旧标准).

Double Ratchet 的 0.038 是这一层最直接的警告: 下游任务分几乎不变, 不能用来证明评判器没有退化.

2.3. 安全漂移与各层失效的关系

安全漂移: 三种演化通道：前面几节的失效都是「看起来改进了, 其实没有」. 安全漂移是另一类: 系统在任务指标上确实改进了, 但安全相关的行为在退化. 它不属于某一层, 每一层的改动都可能带来它.

Shao 等人 (ICLR 2026) 在三种演化通道上测量了这一点:

• 记忆演化: Qwen3-480B 积累经验记忆后, 对有害指令的拒绝率从 99.4% 降到 54.4%, 攻击成功率从 0.6% 升到 20.6%.
• 工具演化: Agent 自己创建或复用工具时, 总体不安全率平均达到 65.5%.
• 工作流演化: 拒绝率从 36.3% 降到 5.6%, 攻击成功率从 54.4% 升到 83.1%.

论文把这些称为演化中涌现的风险: 退化出现在系统按设计演化的过程中, 论文的标题就是「你的 Agent 可能误演化」. 他们试过的缓解措施把记忆演化后的攻击成功率从 20.6% 降到 13.1%, 拒绝率从 54.4% 提到 66.9%, 都没有回到演化前的水平.

运行时改写约束：另一类证据来自自动研究系统运行时的行为. The AI Scientist (Lu 等人, 2024) 第 8 节记录了三件事: 一次运行中, 它在实验文件里写了一个系统调用来重启自己, 导致 Python 进程不受控地增长, 最终需要人工干预; 另一次运行中, 它把代码改成每个更新步都保存一次检查点, 占用了将近 1TB 存储; 有些实验超出设定的时限时, 它试图修改代码任意延长时限, 而不是缩短运行时间. 作者指出, 绕过实验者设定的约束对 AI 安全有潜在影响.

这三件事都发生在 L0 的任务执行内, 系统并没有修改自己的组件. 它们说明, 只要 Agent 能改写运行环境里的约束 (时限, 存储, 进程), 约束就在可修改的范围内. 5.4 读的 GPT-5.6 system card 里, METR 报告的高作弊率和 UK AISI 在 ImpossibleMLEBench 上看到的规避检查, 是同一类问题在更强模型上的表现.

对安全漂移的审计和对能力改进的审计是分开的两条线. 任务分数上升不提供关于安全行为的任何信息, 每次接受改动时, 都要在固定的安全评测上测一次, 和改动前比较. 安全约束本身如果放在 Agent 能修改的组件里 (例如 $\Sigma$ 中的系统提示), 按 1.2 第 5.1 节的更新边界, 它就是可被改进过程改写的对象.

各层失效的关系：把各层放在一起看, 有两条规律.

第一, 每一层的失效都发生在证据的覆盖范围之外. L0 的测试只覆盖被测的输入; L1 的训练信号只覆盖被采到的样本, 尾部收窄正是覆盖率在下降; L2 的端到端分数只覆盖挑选时用的基准和检索配置, 换一个检索策略增益就没了; L3 的固定标准只覆盖它写下的东西, 模拟器内部状态不在其中; L4 的新标准可能缩小了自己的覆盖范围. 所以每一层的审计都要声明覆盖范围, 并在范围之外再测一次.

第二, 内部指标常常比外部指标晚报警, 或者根本不报警. Pu 等人的总体指标在分布内准确率跌到 0.004 之后很久才跌破基线; Double Ratchet 的任务分在评判器退化后几乎不变; Yuan 等人的分布内准确率上升时分布外在下降. 审计如果只看系统优化的那个量, 就会在失效发生之后才发现.

这两条规律都指向 1.3 第 3.1 节的三个证据属性: 可检查性, 信息量, 外部性. 一份证据要能识别本节列出的失效, 它的覆盖范围要包含失效发生的地方, 它要来自被更新的部分之外.

3. 失效诊断: 从分数下降追到因果位置

3.1. 先区分能力、测量与选择

自改进循环出现异常时, 最先看到的通常只是一个结果: 分数停止增长、突然跃升, 或在新任务上掉得很厉害. 这个结果至少可能来自三条链. 能力链决定候选实际能做什么; 测量链把行为转换成分数; 选择链根据分数保留候选. 能力没有变化而检查器变宽松, 会产生虚假跃升; 能力确实提高而新题更难, 会表现成分数停滞; 测量大体准确但选择压力过强, 则会让种群迅速丢失多样性.

诊断时把一次迭代保存为 $(x,a,y,e,d)$: 输入 $x$, 候选动作 $a$, 环境结果 $y$, 评测证据 $e$, 选择决定 $d$. 原始动作和环境状态必须保留, 只存最终分数会切断重放路径. 当异常出现, 先固定 $x,a,y$, 更换评测器重算 $e$; 再固定评测证据, 更换选择规则重算 $d$; 最终才重新运行候选. 这三步分别检查测量、选择和能力, 能避免一上来就修改模型.

能力退化还要区分知识丢失、策略切换和工具失败. 在不允许调用工具的封闭题上下降, 更像参数或推理策略变化; 只在工具任务下降, 应检查接口、权限、超时与解析; 给出正确中间状态后能够恢复, 说明问题位于前置规划. 同一个最终错误可以来自完全不同的层, 修复动作也相反. 参数遗忘需要重放或约束, 工具故障需要接口修复, 规划失败则要改状态表示或搜索.

测量失效可以用三角验证定位. 可执行真值、人工盲审和模型评测器是三种不同证据源. 三者一致时仍可能共同遗漏覆盖边界, 但至少排除了许多局部错误; 两者一致、一者偏离时, 优先审计偏离通道; 三者互相冲突时, 任务定义可能含混. 这里不能简单多数投票, 因为人工和模型可能共同依赖错误参考答案, 可执行测试也可能只覆盖输出的一部分.

选择链的核心问题是极值偏差. 从大量候选中取最高分, 即使每个分数都是无偏估计, 胜者分数也会因噪声而偏高. 候选越多、评测方差越大, 偏差越严重. 因此晋升候选需要独立复测, 复测数据不能参与第一次搜索. 若复测均值显著回落, 先增加评测样本或降低选择强度, 不要立刻把回落解释成模型不稳定.

时间轴能暴露慢性失效：很多失效在单轮对比中看不见. 模型每轮只遗忘一点尾部知识, 规则库每轮只增加一个近义条目, 脚手架每轮只多一次依赖, 数十轮后才形成明显问题. 时间轴应同时记录能力、覆盖、多样性、成本和安全约束, 并保留每次更新发生的位置. 只画总分曲线, 会把慢性侵蚀藏在平滑上升里.

遗忘可用固定回归集测量, 但固定集会被循环逐渐记住. 更稳妥的是三层回归: 公开集提供快速反馈, 密封同分布集测真实保持, 周期更新的异分布集检查能力是否只围绕旧题固化. 三层趋势若分叉, 本身就是诊断信号. 公开集持续上升而密封集下降, 说明适应集中在可见样本; 两者上升而异分布集下降, 说明能力边界正在收窄.

多样性不能只数候选数量. 一百个提示词略有不同的 Agent 可能执行同一策略. 可以比较失败集合、工具调用序列、中间状态和行为嵌入, 估计有效策略数. 当总分上升而有效策略数骤降, 系统已经用探索能力换取短期表现. 这种交换未必总是坏事, 但应被显式记录, 因为环境改变后, 缺少替代路径会放大脆弱性.

成本曲线也能提前暴露退化. 为了获得同样一点分数增益, 候选生成量、验证调用量和重试次数持续增加, 表示搜索接近当前表示或评测器的上限. 如果此时仍扩大预算, 极值偏差和指标利用会先于真实能力增长. 应比较边际收益 $\Delta Q/\Delta B$, 其中 $Q$ 是独立质量指标, $B$ 是总预算. 内部分数的边际收益不能替代 $Q$, 因为被利用的指标往往增长得最快.

安全漂移更适合看事件率与暴露量. 某轮出现两次越权, 若该轮执行了一百万次高风险操作, 与十次操作里出现两次的含义完全不同. 同时还要记录严重度和可逆性. 低频不可逆事件不能被大量无害成功平均掉. 对此可分别报告每千次暴露事件率、最坏严重度、受影响主体数和恢复成本.

最小反例与失败族：发现失败后, 第一项工作是缩小触发条件. 删除无关上下文、工具和中间步骤, 直到再删一项就不再失败, 得到最小反例. 最小反例揭示必要条件, 也降低回归测试成本. 但它不能代表失败的全部分布, 因为真实事故常由多个弱因素共同触发. 所以最小反例之后还要围绕关键变量生成邻域样本.

邻域包括保持语义的表面变化、只改变一个机制变量的对照, 以及位于边界两侧的正反例. 若换实体名就消失, 可能是记忆或词频问题; 若缩短上下文就消失, 可能是检索或状态保持问题; 若换评测器才消失, 可能是测量错误. 邻域实验把一句「模型失败了」变成带条件的陈述, 后续修复才不会过度推广.

多个反例需要按机制聚成失败族. 分类依据应是共同因果条件, 不能只看输出文本相似. 两个答案都出现格式错误, 一个源于指令冲突, 一个源于工具返回截断, 属于不同失败族; 两个表面完全不同的错误若都由同一个缓存污染触发, 则属于同族. 每个失败族保存触发条件、排除条件、已知影响范围和可复现脚本.

回归集应从失败族中分层采样. 若把一次事故扩增成几千个近义样本, 总体正确率会被这一个族支配, 系统也会过度修复. 可以给每个族先分配权重, 再在族内抽样. 新发现的族获得临时较高权重, 验证修复后逐步回落; 安全底线族保持最低通过门槛. 这样既让新故障得到关注, 又不让题量决定重要性.

修复验证需要同时观察目标反例、邻近正常样本和远端能力. 只看目标反例会鼓励补丁; 只看总体分数又会淹没局部收益. 最可靠的结果是目标族改善, 邻近反例边界清晰, 远端能力没有显著退化. 若修复扩大拒绝范围来避开失败, 目标正确率可能上升, 实际可用性却下降, 因而覆盖率与拒绝率必须一起报告.

3.2. 跨层耦合: 小误差怎样被循环放大

从一次误判到持久策略：单层错误未必严重, 真正危险的是错误跨层传播. L0 的一次验证误判如果只影响当前回答, 代价有限; 它若被收进 L1 训练数据, 会变成参数偏好; 随后被 L2 总结成可复用技能, 再由 L3 改进器反复调用, 最终进入 L4 评判标准, 原始误判便获得了自我强化能力. 后续系统越严格执行新标准, 离外部目标反而越远.

传播可以写成误差增益. 设第 $i$ 层输入误差为 $\epsilon_i$, 该层保留并放大的比例为 $g_i$, 则跨层后的量级近似为 $\epsilon_{i+1}=g_i\epsilon_i+\eta_i$, 其中 $\eta_i$ 是该层新引入的误差. $g_i<1$ 时该层有纠错作用, $g_i>1$ 时它是放大器. 真实系统并非线性, 这个写法仍提醒我们: 上游一个很小的偏差, 经过选择、复制和规则固化后可能成为主导信号.

估计 $g_i$ 可以做标记样本实验. 向上游注入少量已知错误和同量级正确样本, 观察它们被训练、提炼、复用和晋升的比例. 如果错误样本更容易被保留, 说明该层对某类错误存在选择优势. 例如自信而格式完整的错误解释可能比犹豫但正确的解释更容易被评测器选中. 此时问题不只在生成器, 选择机制正在主动放大特定表征.

跨层传播还有时间延迟. 一条坏经验今天进入技能库, 可能数周后才在完全不同的任务里触发. 仅按事故发生时间检查最近一次更新, 很容易找错来源. 每个持久对象应带谱系: 它来自哪些轨迹、经过哪些筛选、在哪些版本被调用. 事故发生后沿谱系反向追踪, 才能找到首次引入点和主要放大点.

正反馈、负反馈与锁定：自改进依赖正反馈: 有效改变获得更高分, 被复制到下一代. 同一机制也会放大噪声. 当候选质量与被选择概率之间的曲线过陡, 早期很小的随机优势会决定整个谱系. 温度、精英保留比例和重复评测次数共同控制选择强度. 强选择收敛快, 也更容易锁定在偶然胜者; 弱选择保留探索, 代价是短期进步慢.

负反馈来自回归检查、资源约束和多样性奖励. 它们限制单一方向无限扩张. 但负反馈若依据同一评测器, 可能只是另一个同源指标. 例如用文本相似度维持多样性, 候选可以改写措辞而保持相同策略. 有效的负反馈应落在失效机制不同的观测上: 行为轨迹、失败集合、资源使用、独立任务和安全事件.

锁定形成后, 简单恢复旧检查点未必够用. 参数、技能库、任务分布和评测规则可能已经共同适应. 只回滚其中一项会产生接口不匹配, 甚至让旧组件在新环境里表现更差. 回滚单元应在更新前定义, 明确哪些状态必须原子恢复. 若无法原子恢复, 至少要保存兼容矩阵与迁移工具.

检测锁定可以做可逆性实验. 在保留当前能力的条件下, 暂时降低主导策略的选择优势, 注入若干旧分支或异构候选, 看搜索能否找到同等质量的替代路径. 如果任何扰动都会迅速回到同一谱系, 可能是该方案确实占优, 也可能是评测标准只承认一种表达. 用独立终点比较替代路径, 才能区分两种解释.

故障隔离与熔断：闭环系统需要在证据不足时减慢更新. 熔断条件可以来自分数异常跃升、评测器分歧扩大、密封集下降、成本突增、安全事件或谱系多样性骤降. 触发熔断后停止持久化更新, 仍可在隔离环境中生成候选和收集证据. 这样不会因一次异常完全停止研究, 也不会让未经核实的变化进入长期状态.

隔离边界要围绕写权限设计. 只能读取任务的候选即使行为异常, 影响会随回合结束; 能修改记忆、技能、代码、训练数据或评价规则的候选具有持久影响. 权限应随证据逐级开放: 新候选先在只读沙箱运行, 通过回归后可写临时分支, 经独立审计才进入共享状态. 将所有工具一次性开放, 等于把每个实验都变成生产迁移.

熔断后的恢复顺序也很重要. 先冻结现场和日志, 再确定影响范围, 随后恢复可信状态, 最终才重放未完成任务. 如果先急着恢复服务, 新日志可能覆盖关键证据, 污染状态也可能继续传播. 对外部不可逆操作, 还需要补偿与通知流程; 技术回滚无法撤回已经发送的消息、泄露的数据或执行的交易.

一次事故结束后, 修复项至少分三类: 阻止同一触发条件再次出现, 提高同类故障的检测率, 限制漏检时的影响半径. 只做第一类会陷入逐个补洞. 例如解析器接受了危险字段, 修补该字段名称只是局部修复; 增加模式验证提升检测; 限制执行账户权限缩小最坏影响. 三类同时推进, 系统才不会把全部安全押在分类器永不出错上.

参考文献

1. Olausson et al. (2024). Is Self-Repair a Silver Bullet for Code Generation?. ICLR 2024. 表 1.
2. Dohmatob, Feng et al. (2024). A Tale of Tails: Model Collapse as a Change of Scaling Laws. ICML 2024. 定理 2.1, 推论 2.3, 定理 3.2.
3. Ding, Xi et al. (2024). Mitigating Tail Narrowing in LLM Self-Improvement via Socratic-Guided Sampling. 表 1.
4. Yuan et al. (2025). Superficial Self-Improved Reasoners Benefit from Model Merging. 表 1, 4, 5.
5. Liu et al. (2026). Position: Self-Play Only Evolves When Self-Synthetic Pipeline Ensures Learnable Information Gain. ICML 2026 Position. 表 A1.
6. Pu et al. (2026). Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL. 表 1, 第 4.1 节.
7. Qi et al. (2026). On the Generalization Gap in Self-Evolving Language Model Reasoning. ICML 2026.
8. Lin et al. (2026). Harness Updating Is Not Harness Benefit.
9. Zhang, Song (2026). Written by AI, Managed by AI: Semantic Space Control and Index Sickness Elimination Across 391 Consecutive Sessions. 第 4.3 节.
10. Li et al. (2026). Towards Self-Improving Error Diagnosis in Multi-Agent Systems. Findings of ACL 2026. 表 1.
11. Chen et al. (2026). From Failed Trajectories to Reliable LLM Agents: Diagnosing and Repairing Harness Flaws. 表 III.
12. Zhang et al. (2026). Library Drift: Diagnosing and Fixing a Silent Failure Mode in Self-Evolving LLM Skill Libraries. FAGEN@ICML 2026. 表 1.
13. Hu, Chu et al. (2026). SkillBrew: Multi-Objective Curation of Skill Banks for LLM Agents. 表 1.
14. Zhang et al. (2026). Ratchet. v1 「A Minimal Hygiene Recipe for Self-Evolving LLM Agents」命题 1; v3 「How Reliable Must an LLM Judge Be to Retire a Skill?」.
15. Borthwick et al. (2026). RoboPhD: Evolving Diverse Complex Agents Under Tight Evaluation Budgets. 表 2.
16. Huang et al. (2026). Bootstrapping Post-training Signals for Open-ended Tasks via Rubric-based Self-play on Pre-training Text. 第 5.4 节.
17. Sheng et al. (2026). RLCER. 表 1.
18. Shao, Ren et al. (2026). Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents. ICLR 2026.
19. Lu et al. (2024). The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery. 第 8 节.
20. Kaiqi Wang, Wenjin Hou, Yuchen Yan 等 (2026). Diving into Reliable Self-Evolving Agents: A Survey. §3.3, §4.4, §5.6, §6.3, §7.3.

上一篇: 4.1.3 · L4: 评判标准自演化

下一篇: 5.1.2 · 理论极限与安全