RSI · Recursive Self-Improvement · 递归自我改进

「自我改进」在论文里覆盖的范围很宽. GPT-4 检查并改写自己刚给出的推理, STaR 用自己推对的题微调自己, Agent 往技能库里写一份 SKILL.md, DGM 读自己的评测日志改自己的代码, RQGM 换掉给自己打分的评估器, 这五件事都被叫作自我改进. 它们改的对象不同, 出错的方式不同, 判断「真的变好了」需要的证据也不同. 把它们放在同一个词下面讨论, 最常见的结果是用浅层改动的稳定数字去论证深层能力, 或者把深层改动的内部分数当成改进的证据.

这个库做两件事. 第一件是分清一次改动落在哪里: Agent 的状态拆成模型, 脚手架, 改进器, 评判标准四个可保留的组件, 一次改动按它持久改到的最深组件归到 L0–L4 五个层级, RSI 指改到改进器或评判标准的那两层. 第二件是检查改进主张的证据: 证据由谁产生, 有没有参与过挑选候选, 能不能被这次改动碰到. 后面每一篇读一个系统, 都先回答它改了什么, 再看它的数字在什么条件下成立.

读完全库, 读者手里应该有一套固定的问法. 看到「模型学会了自我改进」「Agent 递归地改写了自己」这类说法, 能指出被保留下来的是参数, 一段提示, 一份档案还是一条评分规则; 能分辨报告里的数字是搜索时反复查询过的开发分, 还是一个没参与挑选的留出测试; 能说出这个系统固定了哪部分外层, 它的结论也就只在这部分之内成立.

持续学习处理的是一条相邻但独立的轴. 它允许更新规则始终固定, 重点测量新任务学习、旧能力保持和顺序效应; RSI 则要求改进过程本身进入被修改并保留的状态. 持续学习可以成为 RSI 系统更新模型权重的一种手段, 却不能因此与 RSI 合成同一个知识库. 两边共用的稳定性、回放和外部验证通过交叉链接连接, 各自保留自己的问题定义与评测口径.

1. RSI 为什么突然到处都是

这两年 RSI 大行其道, 但这个词也被用得有点太随便了. 改个 skill, 改段上下文, 给 Agent 接一个能自写提示的循环, 很快就有人说自己在做 RSI. 论文标题和公司叙事一起变热之后, 原本相差很远的几件事被压进同一个缩写里, 灌水也就跟着多起来. 当前答案经过三轮反思变好, 改的是这一次输出; 搜索器找到更好的 prompt, 改的是脚手架; 系统重写代码以后, 还要看新的代码是否改变下一轮的改进过程. 三者各有价值, 深度却完全不同.

真正值得研究的问题藏在「下一轮」里. 设系统状态为 $\mathcal A_k$ , 一次更新得到 $\mathcal A_{k+1}=F(\mathcal A_k,D_k)$ , 单次成绩提高只说明 $J(\mathcal A_{k+1})>J(\mathcal A_k)$ . 递归性要求更新后的系统还能改变更新映射本身, 即第 $k+1$ 轮使用的 $F_{k+1}$ 与 $F_k$ 在实际行为上不同, 并且这种差异能够在新的任务分布上再次产生可验证的增益. 这里有三道彼此独立的门: 改动必须被保留, 改动必须作用于之后的改进过程, 增益必须由改动范围之外的证据确认. 少一道, 都可能是有用的自适应系统, 却还够不到本库采用的 RSI 定义.

2026 年的两次创业进一步放大了这个词的声量. 田渊栋离开 Meta 后参与创办 Recursive Superintelligence, 公司公开目标是让 AI 自动发现知识并递归地改进自身. 他的个人主页把强化学习, 规划, 优化, 连续潜空间推理和模型训练列为此前研究主线; Recursive 后续公开的早期结果落在固定预算训练、小模型训练速度和 GPU kernel 优化这些可测目标上. 团队从自动化 AI 研究切入, 目前公开实验展示的是搜索与实验闭环; 改进器是否随经验变化, 要到后续系统与实验里判断.

Jeff Dean、Sanjay Ghemawat、Quoc Le 与 Oriol Vinyals 离开 Google 创办 Discovery Loop. 团队从机器学习研究与工程开始, 让系统提出实验、并行运行、读取评估结果并进入下一轮, 同时用这套自动化能力优化自身技术栈. 研究工具的产出会回到研究工具本身, 构成反馈回路. 被改的组件、下一轮候选分布的变化, 以及最佳结果在新任务上的复现情况, 决定这套系统落在 L2 还是 L3.

两家公司值得放在一起看, 恰恰因为它们没有替研究定义答案. Recursive 强调自动发现知识与自我改进, Discovery Loop 强调把假设、实验、评估和再设计连成可扩展的循环. 前者把目标指向系统自身, 后者把实验循环做成基础设施. 二者都说明「AI 帮人写更多代码」已经不是唯一问题, 研究者开始把候选生成、实验执行和结果吸收一起交给系统. 但是否越过 L2, 仍取决于哪一部分状态被持久更新. 如果模型每轮只生成实验代码, 外层调度器、搜索策略和验收规则都不变, 它仍是很强的自动研究系统; 只有新的经验开始改变后续怎样提出和筛选改进, 才进入 L3.

这也是本库没有按公司名单或热门项目排章节的原因. 新闻能告诉我们资本和人才正在往哪里聚集, 不能替代机制判断. 同一个团队会同时做 L0 的搜索、L1 的训练、L2 的工具链和更深的元优化; 同一个系统也可能在宣传中叫 RSI, 在状态转移上只改当前输出. 后文统一用四个组件和五个层级拆开它们, 把「闭环存在」与「闭环改进自身」分开, 再用独立留出、序贯检验、谱系和回滚去检查后者是否成立.

1.1. 可保留状态

全库的坐标系取自腾讯混元与浙江大学等的综述 Diving into Reliable Self-Evolving Agents. Agent 在第 $k$ 轮的可保留状态写成 $\mathcal{A}_k=(\theta_k,\Sigma_k,U_k,C_k)$ . $\theta$ 是模型参数. $\Sigma$ 是脚手架, 也就是模型外面那层可保留的运行结构: 提示, 工具, 记忆, 工作流, 多 Agent 拓扑和运行时 harness. $U$ 是改进器, 负责提出, 选择, 提交或回滚候选改动. $C$ 是评判标准, 包括目标, 奖励, 评测协议和约束. 当前任务的输出 $y$ 用完即弃, 不在可保留状态里.

同一类东西会因为作用不同落在不同组件. 让模型做任务的系统提示属于 $\Sigma$ ; Promptbreeder 里专门用来生成下一版任务提示的变异提示, 作用是产生之后的改动, 属于 $U$ ; 给判官模型的打分 rubric, 作用是定义之后的评判, 属于 $C$ . 三者都是一段文本, 归类看它在循环里干什么. 归类还有两条约定: 按被改的对象归类, 不按算法归类, 反思, 搜索, 强化学习, 进化算法都可以出现在好几层; 只存下来但之后从不被读取的东西不算改动.

层级排的是深度如下：

层级	最深被改的对象	典型失败	本库位置
L0	当前输出或任务内轨迹	自我确认	第 2 部分
L1	模型参数 $\theta$	模型坍塌	第 2 部分
L2	脚手架 $\Sigma$	脚手架过拟合	第 3 部分
L3	改进器 $U$	指标捕获	第 4 部分
L4	评判标准 $C$	准则漂移	第 4 部分

一次转移改了好几个组件时, 按其中最深的那个归类, 每一层只约束比它深的组件: 一个系统可以同时改模型和脚手架, 归 L2; 同时改脚手架和改进器, 归 L3. RSI 从 L3 开始, 条件是改进器本身被保留下来的改动改变, 并且改完的系统里仍带着改进器, 能再作用一次. 只修改当前答案的循环, 即使论文自称 recursive self-improvement, 按这个定义也只到 L0.

层级的排序是改动对象的深度, 不是能力或可靠性的排序. 一个 L1 更新如果用的是可执行的单元测试, 它的证据可能比一个 L0 修订所用的模型自评更可信. 往上走一层, 变化的是需要什么形式的审计, 以及审计要覆盖多长时间: L0 只看这道题, L1 要看之后的独立任务, L3 要看后代系统在没见过的任务上的表现, L4 要在不受更新影响的样本上比较新旧两把尺子.

2. 改动发生和改进成立

2.1. 外部审计

一次自演化只陈述「发生了改动」. 改进主张陈述的是另一件事: 在外部目标下, 某个被测的方面比改动前好. 后者需要更新边界之外的证据. 外部审计由三部分组成: 外部目标, 证据源 $S$ , 验收策略 $G$ , 三者都不能被这次改动修改. 证据一旦向候选生成或内部选择公开过, 就成了开发证据, 不能再作为同一次改动唯一的最终审计证据.

这条规则可以用一个计算说明. 设有 $N$ 个候选, 它们相对原版本的真实差距都是 0, 但测得增益带有标准差为 $\sigma$ 的独立高斯噪声. 当 $N$ 很大时, 最大噪声约按 $\sigma\sqrt{2\ln N}$ 增长; $N=20$ 时, 标准正态最大值的期望约为 1.87, 不能直接把渐近系数 2.45 当成期望. 若两个版本各自在 200 道、通过率约 0.5 的题上独立测量, 差值标准误约为 0.05, 冠军噪声约 9.3 个百分点. 同题配对时, 方差由两版本在各题上的分歧和协方差决定; 候选彼此相关时, 有效候选数也会变化. 只有在没参与挑选的新题上重测, 才能消掉这次选择带来的乐观偏差. 这个计算在 1.1.3 · 证据、接受与控制里展开.

2.2. 环外的锚

从 L0 到 L4 读下来, 能稳定带来提升的系统几乎都在训练信号或验收环节里留了一个不随循环改变的锚. 由标准答案判断「这一轮该不该改」时, GPT-4 的 HotpotQA 从 49.0% 升到 59.0%; 由模型自己判断时, 降到 43.0%. Absolute Zero 用 Python 执行器判定解答, R-Zero 用解题者自己的多数投票当标签, 后者的标签准确率随题目变难从 71.0% 降到 42.2%. SkillsBench 上人工整理的技能平均提高 16.2 个百分点, 模型自写的技能平均 −1.3.

锚放在候选够得着的地方, 就会被绕开. DGM 的一个后代删掉了检测工具调用幻觉所依赖的标记, 只改两次就拿到满分, 幻觉本身还在. 到了 L4, 尺子本身成为被改的对象, 问题更隐蔽: Double Ratchet 的消融里, 一个几乎全判通过的评分函数训练出来的技能, 下游任务分和正常评分函数相差不到 0.038, 任务分完全看不出评判器已经退化. 第 5 部分的理论文献从另一个方向得到同样的结构: 持续增长需要的反馈, 外部数据或更强的预言机, 恰好都必须来自更新边界之外.

3. 六个部分怎么连起来

3.1. 按深度走的三部分

第 1 部分 · 基础给出定义, 记号和证据规则, 后面各篇都指回这里. 第 2 到第 4 部分按被改的组件从浅到深排. 第 2 部分 · 输出与模型层从任务内的修订, 搜索与验证开始, 再读三种把信号写进参数的训练关系: 单模型自训练, 竞争式自博弈, 合作式协同演化. 它的结论是模型层有两个上限: 只用自生数据会坍塌, 而且模型外面那层人写的脚手架一直没动.

第 3 部分 · 脚手架层接着改这层脚手架, 从提示和程序一直读到技能, 记忆和 harness. 到这里, L1 那种逐样本的参照消失了, 能观察的只剩端到端行为, 证据要求随之变严. 这一层的上限是改进器仍由人写. 第 4 部分 · 改进器与评判标准进入 RSI 的范围: 先读把整个 Agent 代码交给自己改的 Gödel Machine, DGM, HGM, 再读只改改进流程中一块的 STOP, Promptbreeder, 最终读评判标准本身被替换的 RQGM 和 Double Ratchet. 这一部分也补上 SIA, Co-Harness, WHALE 的联合更新路线: 权重和 harness 可以交替变强, 但只要决定「下一步改哪边」的规则仍然固定, 它就还没有证明改进器本身在学习.

3.2. 横切的两部分

第 5 部分 · 可靠性与安全把前面各层放在一起看失效: 每层典型的失败方式和原论文的数字, 自改进在理论上受什么限制, 用什么基准测保留下来的改动, 以及 OpenAI 的能力阈值和 system card 怎样判断一代模型的「AI 自我改进」能力. 安全漂移在这一部分单独出现, 因为它和层级正交: 任务指标在涨, 拒绝率在降, 每一层的改动都可能带来它.

第 6 部分 · 自动研究与实验室读让 Agent 做研究的系统和实验室公开的内部证据. FunSearch, AlphaEvolve 和 AI Scientist 保留下来的多是 Agent 状态之外的产物, 按定义大多不构成 L3; Anthropic 关于 AI 参与 AI 开发的数据说明研发在加速, 选方向和判结果的仍是研究人员. 这一部分也收了潜空间推理, 因为推理一旦移进连续向量, CoT 这条监控通道的形式就变了.

6.2.2 · PEAR: 工业搜索里的渐进证据自动研究是这一部分唯一在真实用户流量上取证的系统: 候选从影子流量到线上 A/B 逐级检验, 只有置信区间整体为正才往上走. 它改的是搜索策略参数, 代理模型和门控规则由人固定, 仍属 L0; 读它主要是看单次决定的错误率控制和整轮运行的错误率控制差在哪里.

4. 读法

4.1. 第一次读

第一次读按顺序走: 先读 1.1.1 · 导读与证据规则, 它用五个具体结果把五个层级分开, 再给出读这类论文时检查证据的九条规则. 然后读 1.1.2 · 定义与形式化, 把四个组件, 一轮循环的写法和 L0–L4 的边界条件弄清楚, 它用同一组问题走查了 Self-Refine, Promptbreeder, DGM, AlphaEvolve, RQGM 等代表系统, 后面遇到难归类的系统可以回来对照. 第 2 到第 4 部分按顺序读, 每部分最终一篇都会说明这一层的上限为什么把问题推到下一层.

时间不多的读者可以只读 1.2 和每部分的首页, 首页里有各篇的关系和对照表. 想先建立判断力的读者, 可以在 1.2 之后直接跳到 5.1.1 · 失效模式, 那一篇按层列出失效和与之匹配的审计, 再回头读具体系统时更容易看出每个数字的口径.

4.2. 带着具体问题读

只关心某一类系统时, 读完 1.2 的阶梯和更新边界两部分就可以直接进入对应篇目. 关心自博弈和自训练会不会坍塌, 读 2.1.2 和 2.2.1. 关心 Agent 的技能库和记忆值不值得做, 读 3.1.2. 关心「AI 改自己的代码」到底改了什么, 读 4.1.1.

从新闻进来的读者, 例如看到某个模型的 RSI 指数大涨, 或者某家实验室说 AI 写了大部分代码, 适合从 5.2.2 · 能力阈值与 System Card 和 6.2.1 · Anthropic: AI 参与 AI 开发的内部证据读起. 两篇都把数字拆到「怎么测的, 谁来判定, 原文给了什么限定」, 再按层级归类, 读完能回答这类数字说明的是研究速度变快, 还是改进器本身进入了模型.

5. 本页来源

Discovery Loop (2026). Continuous Exploration. 官方任务说明、方法与创始团队.
Yuandong Tian (2026). Personal homepage. 任职信息与研究经历.
Recursive (2026). First Steps Toward Automated AI Research. 自动研究系统的首批公开结果.