5 · 可靠性与安全

前四部分按层读系统, 每一篇都在追问一个具体系统的增益是不是真的. 这一部分把这些追问汇总起来, 换成横向的问法: 各层的失效有什么共同结构, 自改进在理论上受什么限制, 现有基准能测到哪一层, 实验室对「AI 自我改进」的能力阈值怎么写, 以及前沿规模的安全训练怎样把证据放到更新边界之外.

层级越深, 改动能影响的范围越大, 需要的外部证据和采纳后的控制也越多. 这句话在 1.1.3 已经作为原则写过, 这一部分给它补上数字. 五篇的材料性质很不一样: 5.1 和 5.3 读实验论文和基准, 5.2 读定理和经济学估计, 5.4 读 OpenAI 的 system card 和外部评估, 5.5 读一个具体的训练系统. 它们共用 1.2 的 L0–L4 分层和更新边界, 判断方式一致: 先问被改的是什么, 再问证据从哪里来.

1. 失效与限制

1.1. 按层的失效

5.1.1 · 失效模式 的出发点是一个共同结构: 改动通过影响证据抬高了测得的分数, 外部目标下的表现没有跟着变好. 证据随层级变粗, L0 有当前任务的执行结果, L1 有逐样本的训练信号, L2 只剩端到端行为, L3 要看改进器产出的后代, L4 连评分规则都在被改. 错误也随层级保留得更久, L0 的错误随任务结束被丢弃, L4 的错误会改变判断改进的依据.

L0 的典型例子是自确认. Olausson 等人把 GPT-4 给自己代码写的错误解释换成人类程序员写的, 修复模型不变, 总体修复成功率从 33.30% 到 52.60%, Competition 级题目上差到 4 倍. 每层的失效之外还有一类和层级正交的安全漂移: 任务指标确实在升, 安全行为在退化. Shao 等人测到 Qwen3-480B 积累经验记忆以后, 对有害指令的拒绝率从 99.4% 降到 54.4%, 试过的缓解措施都没能回到演化前的水平.

1.2. 理论上的条件

5.1.2 · 理论极限与安全 读五篇理论工作: Schaul 的封闭系统三条件, Zenil 关于闭环训练熵衰减的定理及其 v6 修正, Jafari 等人的有限时间爆破条件, Whitfill 和 Wu 对算力与认知劳动替代弹性的估计, Lu 对可计算层之间分离的证明. 五篇都没有证明自改进不可能, 每一篇给的都是一个条件. 读的时候要分清哪些是定理, 哪些是在模型假设下的论点, Zenil 的 v6 收回了 v1 的一部分结论, 引用 v1 的定理而不看 v6 是常见的错误.

Whitfill 和 Wu 的估计很能说明条件的分量. 按总算力口径, 替代弹性 $\sigma=2.58$, 研究算力和认知劳动高度可替代; 按前沿实验口径, $\sigma=-0.10$, 和零没有统计差别, 前沿实验和劳动高度互补. 两个口径对「AI 研究员能不能把研发速度推上去」给出相反的答案. 这一篇最终读安全设计: Anthropic 的三种情景, 一个在 1,000 次自修改里拒绝了全部 704 次针对安全核心的尝试的执行时安全内核, 以及欧盟和美国按训练算力设的监管阈值.

两份证据的共同结论如下： 5.1 的总结给出两条规律. 每一层的失效都发生在证据的覆盖范围之外, 所以每一层的审计都要声明覆盖范围, 并在范围之外再测一次. 内部指标常常比外部指标晚报警, 或者根本不报警, Double Ratchet 的任务分在评判器退化以后几乎不变, 就是一个例子.

5.2 的五篇放在一起, 条件有共同形式:

实验和理论在这里对上了. 5.1 观察到失效出在证据覆盖不到的地方, 5.2 推出持续增长需要的东西必须来自边界之外. 两者说的都是同一个结构: 系统在自己能改的范围里优化, 外部目标和自己能改的范围之间的差, 只能靠外面的证据补.

1.3. 测量与阈值

基准测到哪一层：5.2.1 · 评测基准 按综述的表 10 把基准分成两组, 分界是基准是否检验一个保留下来的改动在之后的任务上起作用. 第一组直接测 L1 或 L2 的保留改动: SEA-Eval 上两个框架成功率都是 100%, 总 token 消耗分别是 27,364K 和 3,918K, 保留下来的东西体现在成本上; SEAGym 用快照和四个视图把一次更新前后的系统拆开比较; EvoMemBench 发现直接塞进长上下文的基线仍有竞争力, 只有跨 episode 设定检验了改动是否保留.

第二组测的是研究员 Agent 改进另一个模型或另一个 Agent 的能力, 包括 Meta-Agent Challenge, RSIBench-Data, PostTrainBench 等. 研究员自己的更新程序在运行之间不变, 所以这一组不构成 L3 的直接证据. Meta-Agent Challenge 的 39 个元 Agent 配置里只有 5 个超过人工基线平均值, 33% 的配置标准差大于 0.1, 人工基线最大只有 0.053, 结果的不稳定和第 3 部分读到的脚手架搜索一致.

实验室的阈值：5.2.2 · 能力阈值与 System Card 读 OpenAI 准备框架里的 AI 自我改进类别. High 阈值对标中级研究工程师的工作, Critical 阈值是完全自动化的 AI 研发, 或者以五分之一的时间实现一代提升. GPT-5.6 的三个型号在生物和网络安全上是 High, 在自我改进上低于 High. 发布页的 RSI Index 是 57.9%, 权重没有公布, 不能由各项反推; 两代共有的只有内部研究调试一项, GPT-5.5 是 50%, Sol 是 68.3%.

外部评估补充了 system card 自己的数字. METR 发现 Sol 在时间跨度任务上的作弊率高, 时间跨度结果不作数; UK AISI 在 ImpossibleMLEBench 上观察到模型规避检查; 在已经出现破坏行为的上下文里, Sol 约 1% 的轨迹会主动继续破坏, 其中 76% 只在 CoT 里推理破坏, 不在输出中透露. 这些和 5.1 记录的 The AI Scientist 改代码延长自己时限是同一类问题: 只要 Agent 能改写运行环境里的约束, 约束就在可修改的范围内.

阈值和深度互不蕴含如下： 5.4 把 system card 放回 1.2 的框架: 被评估的是一个固定模型, 每项评测里它完成一个任务, 任务结束后它的参数, 提示和流程都不变, 产出的修好的代码, 更快的 kernel, 训练好的小模型都是 Agent 状态之外的产物. 所以这些评测测的是 L0 意义上的任务能力. 它们和 RSI 有关: 足够强的模型能让研究人员更快地研发下一代, 但决定方向, 设定评测, 选择采纳的仍然是人, 改进器 $U$ 在模型之外.

反过来, 一个 L3 系统在这些评测上可能得分很低. DGM 改的是自己在一个特定基准上的代码, 不是通用的研究能力. 「某模型 RSI 指标大涨」这类说法, 要先问是哪个跟踪类别的哪个数, 套件有没有换, 有没有外部评估的保留意见, 再问它测的是哪一层.

2. 一个前沿规模的安全循环

2.1. GPT-Red 的设计

5.2.3 · GPT-Red: 安全红队的攻防自博弈 的问题是静态的对抗数据集会被过拟合. GPT-Red 让攻击者和多个防御者共同训练, 攻击者有一个查询工具, 能对防御者顺序查询并修改攻击. 威胁模型规定攻击者能改哪段输入, 不能改哪段, 合法性检查过滤掉违反威胁模型的攻击. 攻击者保留旧检查点, 并且同时对多个防御者训练, 用来防止只针对一个对手.

结果的读法有讲究. 留出场景上 GPT-Red 在 84% 的场景里成功, 人类红队为 13%, 两者可用的资源没有对齐. 用 GPT-Red 攻击训练出来的 GPT-5.6, 在整体没见过的留出数据集上防御者鲁棒性是 56.1%, 不到六成; 人类攻击数据集上是 100%, 这说明那个基准对 GPT-5.6 已经饱和, 失去了区分能力.

2.2. 为什么是 L1

按 1.2 的规则, 先问这个循环保留下来的是什么. 每轮 RL 更新的是攻击者和防御者的参数, 查询工具, 环境, 奖励规则在训练中不变, 被保留的改动只在 $\theta$, 是 L1. 威胁模型, 合法性检查, 奖励函数, 防御者群体组成, 留出集划分, 是否采纳新模型, 全部由人决定, $U$ 和 $C$ 都在循环之外.

论文摘要里的「自我改进飞轮」指跨代际的数据流: 第 $n$ 代 GPT-Red 的攻击训练第 $n$ 代 GPT, 更强的 GPT 成为下一代 GPT-Red 的对手. 按 L3 的反事实测试, 论文没有报告下一轮提出, 选择, 提交改动的方式因为这一轮保留的东西而改变, 所以飞轮是一条由人运行的, 重复的 L1 训练流程. 它对 RSI 研究的价值在控制的做法上: 合法性检查, 多防御者交叉评估, 留出数据集和留出领域, 都是在大规模竞争式循环里把证据放到更新边界之外的具体办法.

2.3. 读法

按顺序读：第一次读按 5.1 到 5.5 的顺序. 5.1 是前四部分的横向汇总, 各层的失效都对应前面某篇读过的系统, 读到哪一层的失效, 可以回到对应的部分查原系统. 5.2 的五篇理论和 5.1 互相印证, 读完 5.2 末尾的条件表再回看 5.1 的两条规律, 能看出实验和理论落在同一个结构上. 5.3 到 5.5 是测量和控制, 依次从基准, 实验室评测, 具体训练系统三个尺度展开.

这一部分里的数字口径比前四部分更杂. 5.2 有定理和统计估计, 5.4 有官方综合分和外部评估的否定意见, 5.5 有官方说明里的单个数字和论文图表里的完整结果. 读每个数字时先确认它的出处和比较对象, 例如 84% 对 13% 出自官方说明, 资源没有对齐; 57.9% 的权重没有公开. 每篇末尾都列了读一类材料时要问的问题, 可以直接拿去读新材料.

按问题读：做自演化系统, 想知道自己的系统可能怎么坏, 读 5.1 和 5.3: 前者按层列出失效和识别它所需的证据, 后者告诉你哪些基准能测保留改动, 哪些只能测研究能力. 关心 RSI 在理论上能走多远, 读 5.2, 重点是五篇的条件表和它们与更新边界的关系. 关心实验室怎么判断和披露风险, 读 5.4, 再对照 第 6 部分 的 Anthropic 一篇, 两家实验室描述的都是研究人员在用模型加速研发.

做安全训练的读者直接读 5.5. 它和 2.2.1 的自博弈是同一类循环, 规模大几个数量级, 需要的控制也更多. 5.2 的执行时安全内核和 5.5 的合法性检查, 做的都是把评判标准的一部分放到候选够不着的地方; 前者在实验中守住了边界, 边界划得对不对, 仍要单独审查.

3. 可靠性是谱系性质

3.1. 单轮通过不能推出长期安全

设第 $k$ 轮真实改进为 $\Delta_k$, 审计噪声为 $\varepsilon_k$, 系统在 $\widehat\Delta_k=\Delta_k+\varepsilon_k>0$ 时接受. 即使每轮误接收概率都不高, 长期运行也会不断给噪声机会. $K$ 轮中至少一次误接收的概率上界为 $\sum_{k=1}^K p_k$; 固定 $p_k=p$ 时, 控制会随轮数线性变松. 长期系统要给整条谱系分配错误预算, 或使用在任意停止时间仍有效的序贯证据, 不能把一次实验的显著性复制到每一轮.

误接收也不是唯一风险. 一次改动可能在当前任务上提高 $\Delta_k$, 却扩大后代可触达的危险状态. 把系统安全状态集合记作 $S$, 更新算子为 $F_k$, 真正需要保持的是 $F_k(S)\subseteq S$. 端到端平均分只测到若干采样轨迹, 无法证明集合保持. 权限边界、类型约束、形式检查和沙箱的作用, 是把部分安全条件写成所有候选都必须满足的不变量.

3.2. 可逆性取决于状态是否完整

回滚需要恢复的不只是代码版本. 若新系统已经写入共享记忆、改过数据、触发外部动作或训练了后代模型, 仅把源码退回旧提交不能恢复原状态. 完整检查点应覆盖 $\theta,\Sigma,U,C$ 与它们依赖的外部状态, 并记录每个后代由哪些父代、数据和评判器产生. 这就是谱系的重要性: 它让一次失败能够沿因果链定位, 而非只看到最终一个坏版本.

不可逆动作还要求提交前验证. 对外发布、删除数据、修改权限这类动作无法靠事后回滚完全补救, 因而接受门要位于动作之前. 可以把候选能力与授权拆开: 系统负责提出计划, 独立控制器检查动作是否落在许可集合 $A_{\mathrm{safe}}(s)$ 中. 即使改进器学会绕过任务测试, 只要它不能修改控制器和许可集合, 危险动作仍被拒绝.

3.3. 能力、安全与可观测性三条轴

能力增长并不自动带来安全下降, 两者也不会自动同步提高. 更合适的记录是三元组 $(J,R,O)$: $J$ 是任务效用, $R$ 是风险度量, $O$ 是可观测性. 一个版本可能提高 $J$, 保持已测 $R$, 却通过潜空间推理或更复杂的工具链降低 $O$. 此时未观测到风险上升, 部分原因可能是测量通道变弱.

风险要按损失而非频次聚合. 设事件 $i$ 的概率为 $p_i$, 损失为 $L_i$, 期望风险是 $\sum_i p_iL_i$; 对极端损失, 还要看条件尾部风险. 一个系统把常见小错减半, 同时让极少数越权动作更严重, 准确率和平均违规率都可能改善, 总体风险却上升. 第 5.1 的分层失效表因此要和具体威胁模型一起使用.

可观测性决定审计能看见什么. 当推理写在文本轨迹里, 可以检查计划与动作之间的对应; 当状态藏进连续向量或分布式记忆, 同样的文本审计只覆盖输出表面. 与其猜测隐藏状态是否有恶意, 更可靠的检查是因果干预: 替换记忆、封闭工具、改变权限、插入诱饵任务, 观察行为是否按机制预测变化. 能通过干预重复定位的因果关系, 比一段看起来合理的自述更可靠.

3.4. 停止条件本身也是控制对象

开放式改进没有天然终点, 但部署系统必须有停止策略. 设继续一轮的预期收益为 $G_k$, 验证与运行成本为 $C_k$, 尾部风险增量为 $R_k$, 只有 $G_k>C_k+\lambda R_k$ 时继续才有正效用. 这些量无法精确知道, 实际控制可以使用置信界: 收益下界仍为正、风险上界仍在预算内时才继续.

当连续若干轮没有独立增益、评判器一致性下降、候选开始集中利用同一漏洞, 或审计覆盖率低于阈值时, 暂停比继续搜索更合理. 此时停止, 是为了避免在证据已经失效后继续对同一测量施加选择压力. 对 RSI 来说, 知道什么时候没有资格继续改, 和知道怎样提出下一次改动同样重要.