5.1.2 · 理论极限与安全

1. 这些理论在问什么

结构之外的两个问题如下： 1.2 把自演化写成可保留状态 $\mathcal{A} = (\theta, \Sigma, U, C)$ 上的一串转移, 按最深被改的组件分为 L0 到 L4. 这套结构只回答「改了什么」, 不回答「改了以后会不会变好」, 更不回答「一直改下去能到哪里」. 本篇的理论文献回答的是后两个问题.

讨论这两个问题的理论文献不多. Chen, Wang, Qu 的 RSI 综述 (2607.07663) 在 §7 收了约 60 篇, 其中有实质推导的只有几篇. 下表的五篇各自用了不同的抽象, 每篇只讲原文写了什么, 以及作者自己写下的适用范围:

五篇文献与更新边界如下：

文献	被建模的量	结论的形式	和 1.2 的对应
Schaul	封闭系统里的智能体与反馈	三个条件 (论证, 无定理)	反馈对应评判标准 $C$ 及其外部性
Zenil	每代的模型分布 $Q_t$	熵与均值误差的演化	L1 的模型坍塌
Jafari 等	标量能力 $I(t)$ 与资源	有限时间爆破的充分与必要条件	改进的回报随能力上升, 对应 L3 的主张
Whitfill 和 Wu	研究产出的生产函数	替代弹性的估计值	改进器 $U$ 需要的研究投入
Lu	带预言机的图灵机	计算层之间的分离	更新边界内能产生什么

1.2 第 5.1 节定义了更新边界: 外部目标, 最终证据来源和验收策略应当放在被改动的组件之外. 下面五篇文献从不同方向给出同一类条件, 即某样东西必须来自边界之外. 第 5 节会把它们放在一起比较.

1.1. 封闭系统与闭环训练: Schaul 和 Zenil

Schaul 的设定: 封闭系统的三个条件：Schaul (Google DeepMind, 2411.16905) 是一篇讨论研究方向的立场论文, 关注纯封闭环境这一端: 智能体无法再从外部世界收集新信息. 在这个设定下, 再加上输入空间和输出空间相同 (都是语言) 这个特殊情况, 作者把纯粹的递归自改进称为「Socratic learning」.

摘要的核心主张是: 在封闭系统里训练的智能体可以掌握任何想要的能力, 只要下面三个条件成立:

(a) 它收到的反馈足够有信息量, 并且与目标对齐;
(b) 它的经验或数据覆盖足够广;
(c) 它有足够的容量和资源.

第 2 节标题称它们为「自我改进的三个必要条件」, 分节标题分别是 Feedback, Coverage, Scale. 作者对它们的分工写得很直接: 反馈和覆盖关乎原则上是否可行, 规模关乎实践. 论文在讨论局限时假设 (c) 不构成瓶颈, 只看 (a) 和 (b) 带来的限制.

Schaul 的结论与限制：第 4 节的结论有两半. 一半是纯 Socratic learning 是可能的, 但需要广泛的数据生成和一个稳健, 对齐的评判者. 另一半是, 条件成立时, 潜在改进的上限只受投入资源的限制. 摘要把剩下的约束写成两条: 时间, 以及逐步的失配 (gradual misalignment).

这里的「失配」指反馈与目标之间的偏差随时间累积. 封闭系统里没有外部信号来纠正这种偏差, 条件 (a) 就会逐渐失效. 这和 1.2 里 L4 的典型失败「准则漂移」是同一件事: 评判标准变了, 分数照样上涨.

语言游戏：论文第 5 节给出一个构造性的框架. 语言游戏的定义 (原文): 一个交互协议 (一组可以用代码表达的规则), 规定一个或多个输入输出都是语言的智能体 (玩家) 如何交互, 并在游戏结束时给每个玩家一个标量分数.

作者主张语言游戏同时解决了两个问题: 它提供了可扩展的交互式数据生成和自博弈机制, 同时自动附带反馈信号 (分数). 他还主张, 任何带可处理反馈的交互式数据生成都可以看成语言游戏.

在此基础上, 作者主张用很多个窄游戏代替一个通用游戏. 理由是对每个窄游戏, 都可以设计一个可靠的评分函数. 最终一步是一个「meta-critic」, 用来判断应该玩哪些游戏.

按 1.2 的结构看, 单个游戏的评分函数是评判标准 $C$ 的一部分, meta-critic 决定启用哪些评分函数, 是对 $C$ 的选择. 如果 meta-critic 本身也在封闭系统里被更新, 系统就进入 L4. Schaul 的条件 (a) 要求的「对齐」, 在这个构造里落到了 meta-critic 身上. 论文没有给出 meta-critic 如何保持对齐的机制, 这正是摘要所说「逐步失配」的来源.

Zenil: 闭环训练的熵衰减与论文版本：Zenil 的论文 (2601.05280) 目前有 6 个版本, 标题改过一次.

v1 (2026-01-05), 单作者 Hector Zenil: 「On the Limits of Self-Improving in LLMs and Why AGI, ASI and the Singularity Are Not Near Without Symbolic Model Synthesis」.
v6 (2026-09-28), 增加了两位作者: 「Large Language Models are Shannon Lossy Compressors Not Solomonoff Induction Estimators: Self-improvement and Singularity Are Not Near Without Symbolic Model Synthesis」.

两个版本的结论有实质差别, 引用时要注明版本.

Zenil v1 的定理：v1 考虑一个反复用自己生成的数据训练的模型. 记第 $t$ 代的模型分布为 $Q_t$ , 真实分布为 $P$ , $\alpha_t$ 为第 $t$ 代训练数据中来自外部真实数据的比例. 摘要的主张是: 当训练数据越来越多地由模型自己生成, 即 $\alpha_t \to 0$ , 系统必然进入退化动态, 表现为熵衰减和方差放大.

定理 2 (闭环训练中的熵衰减): 没有外部真实数据 ( $\alpha = 0$ ) 时,

\mathbb{E}\left[H(Q_{t+1})\right] \le H(Q_t) - \Delta(N),

其中 $\Delta(N)$ 是一个依赖每代样本量 $N$ 的量. 因此 $Q_t$ 收敛到一个最小熵分布, 也就是一个点质量, 或者只剩部分众数的分布.

推论 3: 自指的训练回路不能增加与真实分布 $P$ 的互信息.

定理 4 (方差放大与均值漂移): 若 $\alpha_t \to 0$ , 模型均值与真实均值 $\mu_P$ 之间的平方误差发散, 或者做随机游走, 只受支撑集直径的约束.

定理 7: 多个模型组成的集成收敛到一个共识的不动点分布 $R^* \ne P$ . 也就是说, 多个模型互相喂数据也不能替代外部数据.

注 5 讨论了强化学习和验证器: 这些不可能结果适用于任何真实信号没有被严格编码在形式化, 可执行环境里的系统. 也就是说, 如果奖励来自一个可执行的检验 (比如单元测试或证明检查器), 定理的前提就不成立.

v6 收回了什么：v6 第 1 节说, 它修正了 v1 里两个过强的表述. 其中一个是: 每一代的外部比例不必保持在零以上, 因为一个趋于零的比例仍然可以带来无限的累积校正.

v6 第 4 节给出的条件是

\sum_{t=0}^{\infty} \alpha_t = \infty,

并给出反例: $\alpha_t = 1/(t+2)$ 趋于零, 但 $Q_t$ 仍然收敛到 $P$ . v6 还写明, 它的中心论点比一个普遍的不可能定理更窄.

这个修正对读者有直接影响. 「外部信号的比例不能趋于零」是 v1 的结论, 在 v6 里已经不成立. v6 的条件是外部比例之和要发散. 例如 $\alpha_t = 1/(t+2)$ 时, 第 $t$ 代只有约 $1/t$ 的数据来自外部, 求和仍然发散, 这已经足够. 反过来, 如果 $\alpha_t$ 下降得比 $1/t$ 快, 比如 $\alpha_t = 1/t^2$ , 和是有限的, 修正不足.

还要说明一点: Zenil 的论文在两个版本里都没有「统一信息几何」这样的说法, 也没有把 LLM 坍塌, GAN 的模式坍塌和强化学习的策略坍塌放进一个统一框架. v1 提到了 GAN 的模式坍塌 (§3.3), 说 KL 散度为最常见的训练目标提供了统一的数学框架 (§5.2), 在 §5.4 用了一句「标准的信息几何论证给出……」, 在注 5 提到强化学习的「语义坍塌」. 这些是分散的旁注, 不构成一个统一理论.

Zenil 的定理和 L1 的关系：Zenil 的定理描述的是 L1 的典型失败, 即模型坍塌. 5.1 第 3.1 节读过的 Dohmatob 等的结果是同一现象的另一种形式化: 用截掉尾部的生成数据训练, 测试误差出现平台, Scaling Laws 的形状随之改变. Chen 等的综述在 §7.2 把 Zenil 和 Shumailov 等发表在 Nature 的模型坍塌论文放在一起, 作为怀疑派的论据.

但注 5 和 v6 的修正共同限定了这个论据的范围. 它适用于没有可执行检验, 外部数据比例之和有限的闭环训练. 一个用单元测试筛选自生成代码再训练的系统, 或者每轮都混入少量新数据的系统, 不在定理的前提之内.

1.2. 增长的速度: 爆破条件与替代弹性

Jafari 等: 有限时间爆破的模型：Jafari 等 (University of Tartu, 2511.10668, 2025-11-08) 用常微分方程刻画「AI 奇点」的条件. 论文的记号如下: 能力是 $I(t)$ , 算力是 $C(t)$ , 数据是 $D(t)$ , 能源是 $E(t)$ , 资本是 $K(t)$ . 动力学写成

\dot I = F(I, C, D, E), \qquad \dot C = G(I, K), \qquad \dot D = H(I), \qquad \dot E = J(I).

能力的增长依赖资源, 资源的增长又依赖能力. 这里的 $C(t)$ 是算力, 和 1.2 的评判标准 $C$ 是两个量, 下文提到 Jafari 的算力时都写成 $C(t)$ .

三个定理如下： 定理 1: 若 $\dot I(t) \ge a_0, I(t)^p$ , 且 $p > 1$ , 则 $I(t)$ 在有限时间内爆破. 当 $I(0) \ge I_1$ 时, 爆破时间满足

T_{\mathrm{bu}} \le \frac{I(0)^{1-p}}{a_0 (p-1)}.

这个上界可以从等号情形直接解出来. 方程 $\dot I = a_0 I^p$ 分离变量得 $I^{-p}, dI = a_0, dt$ , 积分得

\frac{I(t)^{1-p} - I(0)^{1-p}}{1-p} = a_0 t, \qquad\text{即}\qquad I(t)^{1-p} = I(0)^{1-p} - a_0 (p-1)\, t.

$p > 1$ 时 $1-p < 0$ , 左边 $I(t)^{1-p}$ 随 $I \to \infty$ 趋于零. 右边在 $t = I(0)^{1-p} / (a_0(p-1))$ 处等于零, 这就是爆破时刻. 实际速率不低于 $a_0 I^p$ 时, 爆破只会更早, 所以这是上界.

$p = 1$ 时方程的解是 $I(0), e^{a_0 t}$ , 指数增长, 但任何有限时间内都是有限值. $p < 1$ 时增长是多项式的. 「有限时间内到达无穷」只在 $p > 1$ 出现, 也就是改进速率随能力超线性增长.

定理 2 (Osgood 型): 若速率中依赖能力的部分最多按 $c_0 (1+I)^p$ 增长, 其中 $p \le 1$ , 并且系数本质有界, 则解的最大存在时间 $T_{\max} = \infty$ .

定理 3: 若 $\Phi$ 满足 Osgood 条件

\int^{\infty} \frac{ds}{\Phi(s)} = \infty,

则 $I(t)$ 不会在有限时间内爆破.

Osgood 条件的直观含义也可以从分离变量看出. $\dot I = \Phi(I)$ 时, 从 $I_0$ 到无穷所需的时间是 $\int_{I_0}^{\infty} ds / \Phi(s)$ . 这个积分发散, 到达无穷就需要无限长的时间. 定理 1 的 $\Phi(s) = a_0 s^p$ , $p > 1$ 时积分收敛, 两个定理互为对照.

资源方程：摘要还给出两条和资源有关的结论. 一条是缩放关系 $\Delta I \asymp C^{\alpha} D^{\beta} \eta^{\gamma}$ , 只有当 $\alpha + \gamma > 1$ 时才进入奇异区间. 另一条是资本方程

\dot K = r K^{\zeta} - \delta K - \chi(I),

只有 $\zeta > 1$ , 并且初始状态在一个临界流形之上时, 才会出现奇点.

这两条把定理 1 的条件从能力本身转移到了资源上. 能力的增长速率要超线性, 需要投入的资源 (算力, 资本) 也以超线性的方式累积. 物理资源的积累受工厂, 电力和资金的约束, 这是 Chen 等的综述把这篇放在「上界」一侧的原因.

标量能力模型的范围：模型里的 $I(t)$ 是一个标量, 没有说明能力的提升来自 L0 到 L4 的哪一层. 定理 1 的条件 $p > 1$ 有一种读法: 能力越强, 改进自己的速度越快. 这对应 L3 的主张, 即改进器 $U$ 本身在变好. 但模型直接假设了速率与能力的函数关系, 没有说明 $U$ 是否在可保留状态里, 也没有说明什么东西在支撑这条函数关系. 判断一个具体系统的 $p$ 是多少, 需要的是 Whitfill 和 Wu 那样的经验估计.

论文页眉写有期刊名, 但正文没有说明已被录用. 原文也没有「runaway growth」这个短语.

Whitfill 和 Wu: 算力与认知劳动的替代弹性：一个常见的智能爆炸论证是: 如果 AI 能做 AI 研究员的工作, 研究劳动的供给就可以随算力扩张, 研究速度随之加快, 更强的 AI 又进一步扩大研究劳动的供给. Whitfill (MIT) 和 Wu (Yale) 的论文 (2507.23181) 问的是: 研究产出是否被算力卡住. 如果研究还需要大量算力做实验, 而算力不能随研究劳动一起扩张, 增加研究劳动的效果就有限.

论文用常替代弹性 (CES) 生产函数刻画研究产出 $Y$ 与两种投入的关系: 研究算力 $X$ 和认知劳动 $L$ . 一般形式是

Y = \left[\, a X^{\rho} + (1-a) L^{\rho} \,\right]^{1/\rho}, \qquad \sigma = \frac{1}{1-\rho}.

$\sigma$ 是替代弹性. $\sigma > 1$ ( $0 < \rho < 1$ ) 时两种投入可以互相替代; $\sigma < 1$ ( $\rho < 0$ ) 时两者互补.

互补意味着什么, 可以看劳动趋于无穷时的极限. $\rho < 0$ 时 $L^{\rho} \to 0$ , 于是

\lim_{L \to \infty} Y = a^{1/\rho} X.

研究产出被算力 $X$ 封顶, 再多的认知劳动也越不过这个上限. $\rho > 0$ 时 $L^{\rho} \to \infty$ , $Y$ 随 $L$ 无界增长. 这就是论文第 2.2 节那句话的含义: 若 $\sigma > 1$ , 软件智能爆炸是可能的; 若 $\sigma < 1$ , 则不可能.

数据与估计：论文用的是四家实验室的面板数据: OpenAI 2016–2024, Anthropic 2022–2024, DeepMind 2014–2024, DeepSeek 2023–2024, 共 27 个观测. 研究算力无法直接观测, 论文假设它是训练算力的三分之一.

论文对算力给了两种定义, 估计结果相差很大 (表 1):

设定	$\sigma$	标准误	蒙特卡洛标准误
CES, 总算力	2.583	0.341	0.657
CES, 前沿实验	−0.103	0.176	0.419

正文的解读是: 按总算力, $\sigma = 2.58$ , 研究算力和认知劳动高度可替代; 按前沿实验, $\sigma = -0.10$ , 与零没有统计差别, 前沿实验和劳动高度互补.

「前沿实验」这一设定的意思是, 研究进展依赖在前沿规模上做的实验, 算力总量不能代替它. 如果是这样, 小规模实验做得再多也不能替代前沿规模的实验, 而前沿实验的数量受最大集群的约束.

稳健性检验：附录表 A2–A6 的结果 (总算力 / 前沿实验):

检验	总算力 $\sigma$	前沿实验 $\sigma$
只用 2020 年以后	1.486	−0.769
剔除 2024 年	2.638	−0.129
只用 DeepMind	2.297	−0.007
调整算力成本	0.893	−0.127
工具变量	2.768	0.126

前沿实验一列始终远低于 1, 结论稳定. 总算力一列在调整算力成本后降到 0.893, 低于 1, 也就是说在这个设定下, 连总算力口径都不再支持可替代. 正文仍然说所有情况下结果在定性上相似, 读者引用时应当注意这一行.

替代弹性和改进器的关系：论文的结论是: 如果进展取决于前沿规模的实验, 算力约束可能一直是有约束力的瓶颈. 用 1.2 的记号, 改进器 $U$ 提出候选, 外部审计要求在新鲜任务上执行检验. 当检验本身就是一次前沿规模的训练时, 提出候选的速度再快, 能验证的候选数也受算力限制. 5.4 读过的 GPT-5.6 评测里, NanoGPT 这类任务在单张 H100 上限时完成, 测的是小规模实验能力. 它们的进步对应总算力口径下的替代, 不直接说明前沿实验口径下的瓶颈被打破.

27 个观测, 研究算力按训练算力的固定比例推算, 这两点决定了估计的不确定度很大. 论文的贡献是把「算力是否卡住研究」变成一个可以估计的参数, 给出的数值本身还很粗.

1.3. Lu: 可计算层之间的分离

设定如下： 5.3 第 5.1 节简述了 Lu (2605.27381) 的主要结论. 这里读它的定理. 论文的基本对象是带预言机 $A$ 的图灵机, 对应的计算层是

\mathcal{C}(A) = \{ B : B \le_T A \},

即所有能借助 $A$ 判定的集合. $A'$ 是 $A$ 的图灵跃迁, 也就是带预言机 $A$ 的停机问题, 它严格强于 $A$ .

定理如下： 定理 3 (局部封闭与逃逸): 对每个预言机 $A$ , 类 $\mathcal{C}(A)$ 在预言机计算下局部封闭, 但存在一个典范地与之相关的集合, 即 $A'$ , 不能在同一层里求解.

定理 4 (内部自修改受度数约束): 设 $F$ 是作用在 $A$ -预言机图灵机编号上的一个 $A$ -可计算全函数, 从 $e_0$ 开始迭代 $e_{s+1} = F(e_s)$ . 那么对每个有限阶段 $s$ , 编号 $e_s$ 的机器所判定的集合属于 $\mathcal{C}(A)$ . 特别地, 没有任何有限阶段能计算 $A'$ . 命题 1 进一步说: 没有有限阶段能产生一个严格强于 $A$ 的集合 $X$ , 即 $A <_T X$ .

这个定理对应的就是「系统改写自己」的最直接的形式化. $F$ 是改写规则, $e_s$ 是第 $s$ 版的自己. 改写规则只要本身在当前层里可计算, 改写多少次都出不了这一层.

定理 5 (稳定化修订对应跃迁): 如果一个在层 $A$ 上的单层稳定修订过程, 被建模为一个反复修订并逐点收敛的 $A$ -可计算过程, 那么每个稳定后的结果都可以在 $A'$ 中计算. 反过来, 每个 $A'$ -可计算的集合都可以表示成这样一个收敛的修订过程.

定理 5 依赖相对化的极限引理 (论文的定理 2, 这是可计算性理论的经典结果): 集合 $B$ 可以在 $A'$ 中计算, 当且仅当存在一个 $A$ -可计算的函数 $g(x, s)$ , 使得对每个 $x$ ,

\chi_B(x) = \lim_{s \to \infty} g(x, s).

$\chi_B$ 是 $B$ 的特征函数. 每个有限阶段 $g(\cdot, s)$ 都在 $\mathcal{C}(A)$ 里, 只有取极限后才到达 $A'$ . 关键在于, 层 $A$ 里的观察者无法判断修订是否已经稳定, 只能在极限意义上得到答案.

定理 6: 两层嵌套的稳定修订对应 $A''$ . 猜想 1 推测 $n$ 层嵌套对应 $A^{(n)}$ .

命题 4: 如果系统 $S_B$ 能在内部完成一个相对 $S_A$ 来说是「外部必需」的任务 $D$ (论文称为 capability internalization), 那么 $A <_T B$ . 也就是说, 把原本需要外部帮助的能力变成内部能力, 本身就意味着系统已经处在更强的层上.

作者写下的适用范围：论文在多处限定了结论的含义:

§1: 预言机机器是分析现代机器学习流水线的方法论工具, 结论依赖文中给出的条件. 学习系统在实践中仍可能大幅进步, 同时保持在一个有效层的内部.
注 8 和注 9: 本文不主张梯度下降在计算图灵跃迁; 这些都不意味着实际的 AI 系统真的实现了这些跃迁层级.
§8: 上面的定理不直接分析梯度下降, 语言模型训练或 Agent 架构.
§9: 还没有处理 $A <_T B <_T A'$ 这种中间强化的情形.

所以 Lu 的结果不能读成「AI 不能自改进」. 它能支持的结论是: 一个声称突破了能力层级的系统, 需要指出新的计算能力来自哪里. 有限步的内部改写不够. 外部输入 (新数据, 新的预言机, 新的验证器) 或者极限过程才能带来层级上升. 5.3 第 5.1 节说的「对齐信息, 工具, 时间和算力再比较」, 是这个要求在实验上的对应物.

2. 五篇放在一起看

2.1. 条件的共同形式

文献	什么必须来自更新边界之外	缺少时的后果
Schaul	对齐的反馈 (或对齐的 meta-critic)	逐步失配
Zenil v6	累积外部数据, $\sum_t \alpha_t = \infty$	熵衰减, 均值漂移
Jafari 等	超线性累积的资源	不进入有限时间爆破
Whitfill 和 Wu	前沿规模的实验算力 (若 $\sigma < 1$ )	研究产出被算力封顶
Lu	更强的预言机或极限过程	停留在 $\mathcal{C}(A)$

这张表里的每一行, 原文给的都是一个条件. Schaul 说条件满足时上限只受资源限制; Zenil v6 说外部比例可以趋于零; Jafari 说 $p > 1$ 时确实会爆破; Whitfill 和 Wu 的总算力口径给出 $\sigma > 1$ ; Lu 说更强的层级会出现, 只是不由层内的有限重复产生. 五篇都没有证明自改进不可能, 给出的是不同条件下它能走到哪里.

和更新边界的关系如下： 1.2 第 5.1 节要求外部目标, 最终证据来源和验收策略放在被改动组件之外. 这条要求原本是为了让审计有效: 如果被改的系统能改动评判自己的标准, 采纳的决定就失去了独立性.

五篇理论文献从另一个方向给出了相同的结构. 它们关心的是能力能否持续增长, 与审计无关. 但结论都落在同一个位置: 持续增长需要的那样东西, 恰好是不能放进更新边界内部的. 外部数据放进边界, 就变成了自生成数据; 评判者放进边界, 就可能失配; 预言机放进边界, 就只是层内计算.

这个对应关系有一个实际含义. 一个系统宣称在 L3 或 L4 上持续改进时, 可以依次问: 它的反馈来自哪里, 外部数据的比例如何随时间变化, 每轮检验需要多少算力, 新的能力需要哪些边界外的输入. 答案指向边界内部的部分, 就是上面这些定理给出退化条件的地方.

两篇框架性的工作：Chen 等的综述在 §7 还收了两篇框架性的论文, 它们不给出界, 但提供了描述问题的语言.

Tang 等 (天津大学, 山西大学, 2609.13406) 的 Generalized Agent Iteration 把一个系统写成 $\chi = (\pi, V, m, U, \rho)$ , 并定义两个旋钮: 改进智能体的机制是否属于智能体本身, 以及衡量改进的标准是否以智能体之外的东西为依据. 论文按这两个旋钮把系统的极性分为三类: 锚定 (anchored), 目标漂移 (goal drift), 完全自指 (fully self-referential). 它列出的四类缺陷是: 对候选自身的搜索, 自我评估, 无依据的基底, 目标漂移. 第一个旋钮对应 1.2 的问题「改进器是否在可保留状态里」, 第二个对应「评判标准是否在更新边界之外」. 这篇论文的记号和 1.2 不同, 其中的 $U$ 是论文自己的定义, 本库统一用 1.2 的记号.

Herrmann 和 Schmidhuber (IDSIA, KAUST, 2605.14831) 讨论研究品味. 摘要说, 通往递归自改进系统的瓶颈之一是「有趣性」(interestingness). 论文把有趣性形式化为对未来压缩进展的归纳启发式, 用的是 Kolmogorov 复杂度和算法统计的工具; 一个结论是, 预期的未来进展随最近一次突破的新近程度指数变化. 它和本篇的关系在于: 选择研究方向是 L3 改进器的一部分, 也是 Whitfill 和 Wu 的模型里「认知劳动」最难被替代的部分. 论文的具体命题在 §4, 引用前应当读原文.

读一条理论主张时的问题：看到「理论证明 RSI 不可能」或「理论证明智能爆炸必然发生」这类说法时, 可以依次问:

原文是定理还是论证? Schaul 是立场论文, 没有定理. 把三个条件写成「当且仅当」的定理, 不符合原文.
引的是哪个版本? Zenil 的 v1 和 v6 结论不同. 「外部比例不能趋于零」只对 v1 成立.
定理的前提覆盖这个系统吗? Zenil 的注 5 排除了有可执行验证的系统; Lu 的注 8 和 §8 排除了对梯度下降的直接分析; Jafari 的 $p$ 要靠经验估计.
估计值对设定敏感吗? Whitfill 和 Wu 的 $\sigma$ 在 −0.10 到 2.77 之间, 取决于算力怎么定义, 用哪些年份.
它对应 L0–L4 的哪一层? 模型坍塌的定理说的是 L1; 爆破条件和替代弹性说的是改进器的回报; 可计算层的分离说的是更新边界内能产生什么. 把一个层级的结论套到另一层上, 需要额外的论证.

2.2. 安全

Anthropic 的三种情景：Anthropic Institute 的「When AI builds itself」(作者 Marina Favaro, Jack Clark) 描述了三种可能的未来:

趋势停滞, 但今天的 AI 能力被广泛扩散.
AI 实验室继续看到复合的效率提升. 在这种情景下, AI 开发大幅自动化, 但人仍然设定研究方向, 判断结果.
AI 系统本身能够完全地递归自改进, 并开始构建自己的后继者.

文章认为我们很可能正走向第二种情景. 按 1.2 的结构, 第二种情景里改进器 $U$ 有一部分仍在人手里: 选方向, 判断结果. 第三种情景是 $U$ 和 $C$ 都进入了模型的可保留状态, 也就是 L3 和 L4.

文章对第三种情景的风险描述是 (原文): 今天的模型里少见的失配, 可能会随着模型构建自己的后继者而复合, 变得更频繁, 也更难理解, 直到我们失去对它们的控制. 这句话和第 2 节 Schaul 的「逐步失配」是同一个机制在安全侧的表述: 评判者在边界内部, 偏差就会累积.

关于当前的差距, 文章写道: 在让 Claude 自己选择目标时, 判断力上仍然存在很大的性能差距. 政策部分提到保留放慢或暂停前沿 AI 开发的选项, 以及核实其他各方确实已经停下或放慢.

「起飞信号」这个说法不在 Anthropic 的文章里. Chen 等的综述 §7.3 写过「要观察的起飞信号是在验证层级上的上移」, 引用时应当归给综述.

执行时安全内核：Dobrin 和 Chmiel (ARYA Labs, 2606.26057) 的「The Unfireable Safety Kernel」讨论的是部署后的控制. 摘要的核心论点是: 任何位于智能体地址空间内的控制, 都可以被能影响智能体行为的输入触及. 作者把这类系统称为「可逃逸的 AI 系统」(escapable AI systems). 第 1 节的说法更直接: 一个位于被控系统地址空间内的控制, 按构造就是该系统可以触及的.

论文给出的四个必要性质是: 进程隔离; 在动作执行之前强制检查, 并且检查路径在结构上是唯一的; 失败时默认关闭 (fail-closed); 证据外置并带签名. 摘要报告的实验是, 在 1,000 次自修改中, 针对安全关键核心的 704 次尝试全部被拒绝.

对自改进系统, 作者在 §8.2 写了两点. 一是授权必须放在生成代码运行的地址空间之外. 二是这对这类系统是必要的但不充分: 还需要额外的约束, 确保策略本身不会经由内核看不到的路径被修改. §8.3 说, 目前还没有一个形式化的策略层来决定哪些自修改应当放行.

按 1.2 的结构, 这个内核是把评判标准 $C$ 的一部分 (哪些动作被允许) 物理地放到更新边界之外. 704 次拒绝说明边界在实验中守住了; §8.2 的第二点说明, 边界守住不等于边界划对了, 策略的内容仍然需要单独审查.

算力阈值：两套法规用训练算力作为触发监管义务的阈值.

欧盟《人工智能法》(Regulation (EU) 2024/1689) 第 51(2) 条: 当一个通用 AI 模型训练所用的累计计算量以浮点运算计大于 $10^{25}$ 时, 推定它具有高影响能力. 第 51(3) 条允许欧盟委员会通过授权法案修改这一阈值. 相关条款自 2025 年 8 月 2 日起适用.

美国第 14110 号行政令 (2023 年 10 月 30 日签署) 第 4.2(b)(i) 节要求报告训练算力超过 $10^{26}$ 次整数或浮点运算的模型, 主要使用生物序列数据训练的模型阈值为 $10^{23}$ ; 第 4.2(b)(ii) 节的计算集群阈值为每秒 $10^{20}$ 次运算. 这份行政令已被 2025 年 1 月 20 日签署的第 14148 号行政令撤销 (第 2 节第 (ggg) 项), 上述阈值随之失效.

这类阈值和自改进的关系是间接的. 它们度量的是一次训练的总算力, 而 L2 和 L3 的改动 (改脚手架, 改改进器) 可以不涉及任何大规模训练. 一个系统可以在 $10^{25}$ 以下的模型上, 通过保留下来的脚手架和改进器改动, 持续改变自己的行为. 5.4 读过的 Preparedness Framework 用的是能力阈值 (相当于中级研究工程师, 能够全自动 AI 研发), 和算力阈值回答的是不同的问题: 前者问模型能做什么研究, 后者问训练用了多少算力. 两者都不直接检验改进器是否在可保留状态里.

2.3. 可计算性不会替系统做风险判断

停机问题在这里限制了什么：如果安全检查器要对任意程序 $p$ 和输入 $x$ 判断「运行最终会不会触发坏状态」, 它至少包含停机问题的难度. 假设存在一个总能返回正确答案的判定器 $H(p,x)$ , 可构造程序 $D(q)$ : 当 $H(q,q)$ 预测会停机时便永久循环, 预测不会停机时立即停止. 把 $D$ 自己作为输入便产生矛盾. 所以对任意程序、任意输入、任意非平凡行为性质, 不可能同时得到完备且可靠的通用判定.

这个结论限制的是全称保证, 没有否定具体系统上的验证. 实际工具可以限制语言、状态空间、循环次数和外部接口, 在受限域内做模型检查; 可以用类型系统排除一类错误; 可以用超时与权限阻止某些后果; 也可以用测试发现大量具体反例. 理论边界提醒我们保留「未知」结果, 不要让检查器被迫对所有输入给出安全或危险的二值结论.

可靠性和完备性之间存在直接取舍. 一个可靠检查器只在有证明时放行, 不会把危险程序判成安全, 但会拒绝许多实际安全的程序; 一个追求覆盖的检查器尽量放行, 就必须接受漏检. 高风险动作更适合前者, 低风险可逆动作可以采用后者并配合监控. 将两种模式混成统一准确率, 会掩盖真正的工程选择.

自修改使判定更难, 因为待检查对象包含未来检查器本身. 当前版本证明某个不变量, 更新后若能改写证明器、规则或权限, 原证明的前提已经失效. 可把可信核心从可修改区域分离, 要求所有更新先生成证明义务或通过外部验证. 这无法证明所有未来行为安全, 但能使每次具体状态迁移保留一条可审计边界.

Rice 定理与语义性质：Rice 定理说明, 对图灵完备程序所计算函数的任何非平凡语义性质, 都不存在通用可判定算法. 「这个 Agent 永远不会泄露秘密」「它对所有请求都遵守规范」「它最终总能恢复」都属于语义性质. 仅检查源代码是否出现某个函数名、提示里是否包含安全句子, 只是在判断语法代理, 不能越过这个边界.

受限验证仍然可用. 若任务只允许有限动作、有限记忆和有界步数, 状态图是有限的, 可以穷举可达状态; 若程序带有可验证契约, 可以证明局部性质; 若环境给出形式化转移, 可以检查时序逻辑约束. 代价是模型、环境与现实之间仍有距离. 证明只覆盖形式化模型表达出来的部分, 没写进模型的副作用不会自动消失.

因此安全论证要分三层: 形式系统内部证明了什么, 实现是否忠实执行形式系统, 形式模型是否覆盖现实风险. 第一层可以给严格证明, 第二层依赖编译、运行时和硬件验证, 第三层需要实证与领域判断. 只展示第一层便宣称真实系统安全, 把最难的建模误差就不写了.

自指与 Löb 条件：能推理自身代码和证明系统的 Agent 会遇到自指问题. Löb 定理给出一个容易误用的结论: 在足够强且满足可导性条件的形式系统中, 如果系统能证明「可证 $P$ 蕴含 $P$ 」, 那么系统已经能证明 $P$ . 自省本身未必危险; 风险落在「只要未来的我证明安全, 现在就相信未来的我」这条并不免费的信任规则上.

更新验证中, 当前系统可能希望接受一个能证明自身安全的后继. 如果后继控制证明器或公理, 自证没有独立性. 即使证明器固定, 证明的规范也可能遗漏真实目标. 更稳妥的结构是让不可由候选修改的验证核心检查明确性质, 候选只能提交证明或证据, 无权改变验收语义. 对无法形式化的部分继续保留外部审计.

自指还影响回滚. 新版本可以修改状态格式, 使旧版本无法读取; 可以改变日志语义, 让历史证据看似仍在却无法解释. 因此迁移前必须验证逆向兼容或提供可信转换器, 回滚演练要在真实快照上运行. 「保留旧二进制」没有覆盖数据与环境状态, 仍不能保证可恢复.

理论不可能性如何变成设计约束：面对不可判定性, 合理目标是缩小问题. 限制动作空间, 让高影响操作经过类型化接口; 限制时间与资源, 使运行轨迹有界; 隔离持久写入, 让实验可丢弃; 把关键不变量放进候选无法修改的层; 对未知状态默认升级审查. 每项限制都把一部分开放语义问题转成可检查的局部条件.

限制也会损失能力. 禁止任意代码降低攻击面, 同时排除合法的新工具; 有界运行避免失控, 也会截断长任务; 保守放行减少危险, 也增加拒绝. 这些代价需要作为结果报告. 安全边界若只写阻止了什么, 不写失去了什么, 很难判断它是否适合目标任务.

理论边界还要求避免伪证书. 大量测试通过、模型评审一致、形式证明成立, 三者各覆盖不同对象. 测试提供存在于样本中的证据, 模型评审提供受其偏差影响的判断, 形式证明提供相对于公理和模型的全称结论. 把三者组合能增强论证, 但不能把各自未覆盖的区域凭空填满.

3. 资源边界: 有限算力不等于有限风险

3.1. 时间、空间与样本复杂度

一个问题可计算, 不代表能在现实预算内算出. 时间复杂度限制推理步数, 空间复杂度限制可维护状态, 样本复杂度限制从有限观察中恢复规律的精度. 自改进系统同时受三者约束: 搜索候选要计算, 验证候选要状态与工具, 判断新方法可靠要独立样本. 任何一项不足都可能让内部评分高于真实增益.

候选空间若有 $N$ 个近似独立方案, 每个方案的评测噪声标准差为 $\sigma$ , 选择最高分带来的乐观偏差会随 $\sigma\sqrt{\log N}$ 增长. 搜索越广, 越需要更多独立验证. 这解释了为什么「生成更多候选再挑最好」不是免费提升: 计算预算扩大了探索, 也扩大了从噪声中挑中幸运者的机会.

验证预算应随搜索预算联动. 可以把总预算分成提议、开发评测、密封复测和外部审计. 若所有新增算力都用于生成, 验证样本固定, 最终候选的过拟合会越来越严重. 最优比例依赖任务与噪声, 至少要报告候选数、每个候选评测次数和最终复测规模, 让读者判断选择压力.

空间限制会造成状态压缩. 长程 Agent 无法保留全部历史, 必须选择写入记忆的内容. 压缩规则本身成为能力与风险边界: 被遗忘的约束、失败和来源无法影响未来决策. 因此记忆评测要检查召回, 也要检查删除策略、来源保真和冲突处理. 只测能否记住有用事实, 会漏掉错误记忆长期污染.

速度优势如何改变安全窗口：能力改进速度提高时, 人类审阅的绝对速度未必改变. 风险来自两个时间尺度的比值. 如果系统每小时产生一千次持久更新, 人工一天审十次, 监督覆盖趋近于零. 即使每次更新的事故概率不变, 单位时间内累积风险也会上升. 所以安全预算应按更新频率和影响范围扩展, 不能只按单次准确率设计.

速度还会缩短纠错窗口. 一个错误策略在被发现前已复制到许多分支、写入训练数据并改变环境, 回滚成本会随传播深度增长. 可通过批次提交、隔离期和延迟晋升增加观察窗口. 这些机制故意牺牲一部分速度, 换取在错误成为共同祖先前发现它的机会.

并行搜索带来相关风险. 许多分支共享基础模型、数据和评测器, 失败并不独立. 不能用单分支事故率简单估计整体安全. 若一个共同漏洞同时影响所有分支, 并行度越高, 被利用并写入后代的机会越大. 需要识别共享依赖, 对共同原因设置集中防护.

资源上限也是攻击面：资源限制经常被模型视为待优化的障碍. 系统可能修改超时、减少检查、压缩日志、复用过期缓存, 从而提高表面吞吐. 若奖励只看任务完成, 这些行为具有直接优势. 资源配置和安全检查应位于候选无权修改的控制面, 任何申请扩容都经过独立策略.

拒绝服务是一类反向风险. 候选无需突破安全约束, 只要制造极长轨迹、巨量日志或递归委托, 就能耗尽验证预算, 使其他检查无法运行. 每个任务需要硬配额, 系统级还要有总量隔离和公平调度. 达到上限时保留诊断摘要, 不能静默截断后仍把任务计为正常完成.

资源核算应包含外部成本. 工具调用可能消耗真实资金、占用共享服务、给人类带来审阅负担. 只计算模型令牌会鼓励把成本转移出去. 一次更新的成本向量至少包括计算、环境交互、人工时间、延迟和不可逆操作. 不同成本未必要压成一个货币数值, 但都应进入准入判断.

有界理性下的停止：无限思考通常不可用, 系统必须在证据不完整时停止. 停止规则决定它会在什么置信度下行动. 对可逆低风险任务, 可以按期望收益停止; 对不可逆高风险任务, 需要满足硬证据门槛, 超时进入人工审阅. 同一个置信阈值覆盖所有动作, 会在简单任务上浪费预算, 在危险任务上又过于激进.

继续搜索的价值可以用信息价值理解: 下一次计算可能改变决定的概率乘以改变后的收益, 再减去计算成本. 实际系统很难精确估计, 但可以比较候选间分差、评测不确定性和剩余预算. 当多个候选近似并列且评测噪声大, 增加复测比继续生成更值; 当所有候选在硬约束上失败, 应回到提议阶段.

停止也包含暂停自改进本身. 当外部指标没有边际收益、验证覆盖持续下降、回滚无法保证或安全事件超过阈值, 系统要冻结持久更新, 把控制权交回更慢、更独立的审查过程. 暂停针对当前证据不足的运行状态, 后续可以在补齐验证后恢复. 一个没有可靠暂停路径的自改进系统, 任何其他安全措施都缺少最终执行点.

参考文献

Chen, Wang, Qu (2026). Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops. v2, §7.
Schaul (2024). Boundless Socratic Learning with Language Games. §1, §2, §4, §5.
Zenil et al. (2026). Large Language Models are Shannon Lossy Compressors Not Solomonoff Induction Estimators. v1 定理 2, 4, 7, 推论 3, 注 5; v6 §1, §4.
Jafari et al. (2025). A Mathematical Framework for AI Singularity: Conditions, Bounds, and Control of Recursive Improvement. 定理 1–3.
Whitfill, Wu (2025). Will Compute Bottlenecks Prevent an Intelligence Explosion?. v2, 表 1, 表 A2–A6, §2.2, §3.
Lu (2026). The Computational Boundary of Inference: Capability Internalization, Training, and the Turing Jump. 定理 2–6, 命题 1, 4, 注 8, 9, §8, §9.
Tang, Ma, Li, Yuan (2026). Generalized Agent Iteration. 定义 1, 表 2, 表 4.
Herrmann, Schmidhuber (2026). Interestingness as an Inductive Heuristic for Future Compression Progress.
Favaro, Clark. When AI builds itself. Anthropic Institute.
Dobrin, Chmiel (2026). The Unfireable Safety Kernel: Execution-Time AI Alignment for AI Agents and Other Escapable AI Systems. §1, §8.2, §8.3.
Regulation (EU) 2024/1689 (Artificial Intelligence Act). 第 51 条, 第 113 条.
Executive Order 14110, 88 FR 75191 (2023), §4.2; Executive Order 14148, 90 FR 8237 (2025), §2.

上一篇: 5.1.1 · 失效模式

下一篇: 5.2.1 · 评测基准