1.1.2 · 定义: 自演化、深度阶梯与 RSI

下面的定义取自腾讯混元与浙江大学等的综述 Diving into Reliable Self-Evolving Agents (Wang et al., 2026) 的 §2.1–§2.3.

1. 自演化与 Agent 状态

1.1. 自演化: 执行中产生的信息被用来改东西

一个 Agent 叫自演化 (self-evolving), 要满足一个条件: 执行过程中产生的信息被回送进系统, 并且改动了当前输出, 或者改动了一个会影响之后行为或之后更新的可保留组件.

判据落在执行中收集的信息是否引出了进一步改动, 与执行步数无关. 单个任务内若只产出答案, 状态没有发生自演化. Agent 需要用反馈、评估或搜索修改、替换或挑选候选输出. 跨任务时, 保存轨迹只是写入动作; 保存的内容继续影响之后的行为或更新, 才形成可保留改动.

这里有两个目标要分开. 演化目标 (evolution target) 回答「这次改了什么」: 输出, 模型, 脚手架, 改进器或评判标准. 外部目标 (external target) 回答「拿什么判断改得更好」: 测量的结果, 基线, 评估时长, 约束条件, 以及对齐的资源预算. 被评估的这次改动不能修改外部目标的语义.

于是一个自演化事件和一个改进主张也要分开. 前者只陈述「发生了改动」. 后者陈述「在外部目标下, 某个被测的方面比改动前好」. 内部分数变高不足以支撑后者, 因为循环本身可能影响了候选改动, 证据, 或者保留规则.

1.2. 四个可保留组件

第 $k$ 轮的可保留状态写成

$\theta_k$ 是可训练的模型或策略状态, 也就是神经网络参数.

$\Sigma_k$ 是脚手架 (scaffold): 模型外面那层可保留的非参数运行结构, 包括提示, 工具, 记忆, 工作流, 多 Agent 拓扑, 以及塑造执行过程和留存证据的运行时控制 (harness). Ren 等人的综述 (arXiv:2607.13104) 把脚手架拆成四个分量: 结构化提示 $p$, 记忆及检索策略 $m$, 工具集及调用接口 $\mathcal{T}$, 控制逻辑 $g$, 即 $\Sigma = (p, m, \mathcal{T}, g)$. 第 3 部分按综述 §5 的五层展开: 提示与程序, 架构与工作流, 技能, 记忆, 运行时 harness; 3.1 的第 1.2 节给出五层和四个分量的对应.

$U_k$ 是改进器 (improver): 负责提出, 选择, 提交或回滚候选改动的那套机制. 它可以解读经验, 分配搜索资源, 做选择决定, 但不定义用来评判候选的标准.

$C_k$ 是内部评判标准 (criterion): 用来评判行为和候选状态的目标, 奖励, 评测协议, 比较规则和约束.

当前任务的输出 $y_k$ 是临时的, 不在可保留状态里. 做分类时把它加进来, 演化目标一共五个, 按深度从浅到深排: 输出 $y$, 模型 $\theta$, 脚手架 $\Sigma$, 改进器 $U$, 评判标准 $C$.

1.3. 一个对象归哪个组件

运行结构里的对象默认归 $\Sigma$. 如果它的实际作用是产生之后的改动, 就归 $U$. 如果它的实际作用是定义之后的评判, 就归 $C$.

还有几条具体约定. 可学习的路由器或评估器参数记在 $\theta$. 非参数的工作流和记忆机制记在 $\Sigma$. 支配后续评判的 rubric 或评测协议记在 $C$. 数据和经验不单独占一个坐标, 它们改动了哪个组件, 就按那个组件归类.

同一类东西会因为作用不同落在不同组件. 以提示为例: 让模型做任务的系统提示是 $\Sigma$ 里的 $p$; 专门用来生成下一版任务提示的「变异提示」, 作用是产生之后的改动, 归 $U$; 给判官模型的打分 rubric, 作用是定义之后的评判, 归 $C$. 三者都是一段文本, 归类看的是它在循环里干什么.

记忆有一层细分. 执行过程中可以直接写入的记忆内容和索引记作 $m^{\mathrm{rt}}$, 它是 $\Sigma$ 的一部分. 记忆的写入策略和 schema 由外层循环控制.

2. 一轮自演化: 执行, 提出, 选择, 审计

2.1. 执行

第 $k$ 轮, Agent 在资源预算 $b$ 下, 用状态 $\mathcal{A}_k$ 执行任务 $x_k$, 得到轨迹 $\tau_k$, 输出 $y_k$ 和一份临时的经验摘要 $e_k$:

如果这一轮只修改了 $y_k$ 或它的轨迹, 可保留状态没变, 这一轮就是 L0.

执行中也可能直接写入运行时记忆 $m^{\mathrm{rt}}$, 写完后的可保留状态记作 $\mathcal{A}_k^{\mathrm{exec}}$. 没写的话 $\mathcal{A}_k^{\mathrm{exec}} = \mathcal{A}$kAkexec​=Ak​. 这种直接写入要算 L2, 前提是写进去的内容一直有效, 并且改变了之后某个独立任务上的行为. 经验摘要 $e_k$ 同理: 只有存进运行时记忆, 或者被一次通过审计的改动用上, 它才会影响后面的轮次. 如果运行时记忆的写入是这一轮唯一的保留改动, 这一轮可以不做外层更新, 直接 $\mathcal{A}${k+1} = \mathcal{A}_k^{\mathrm{exec}}.

2.2. 提出与选择

需要外层更新时, 在同一预算下, 当前改进器 $U_k$ 根据 $\mathcal{A}_k^{\mathrm{exec}}$, 经验摘要 $e_k$ 和演化历史 $H_k$ 提出一组候选; 当前评判标准 $C_k$ 提供内部选择规则:

$X_k^{\mathrm{cand}}$ 里的每个候选都可以改动可保留组件的任意子集. 演化历史 $H_k$ 由更新边界之外的部分维护. 选出来的 $\tilde{\mathcal{A}}_{k+1}$