5.2.1 · 评测基准

1. 两组基准的分界

分组的标准：多数 Agent 基准评测一个固定系统在相互独立的 episode 上的表现. 评测自演化需要另一种设计: 基准先给一次更新的机会, 再检验更新后保留的改动在之后独立的任务上是否仍然起作用. 综述的表 10 按这一点把现有基准分成两组, 分组的标准是: 基准是否检验一个保留下来的改动在之后的任务上起作用.

第一组直接检验 L1 或 L2 的保留改动. 第二组检验 Agent 能否完成改进模型或 Agent 系统所需的研究和工程环节, 但通常让一个研究员 Agent 在一次有界的运行里改进另一个目标模型, 或者为某个任务搭一个脚手架. 研究员自己的更新程序在运行之间不变, 所以第二组是相邻评测, 不构成 L3 的直接证据.

两组里被改的对象：按 1.2 的记号, 第一组里被改的是被评估的 Agent 自己的 $\theta$ 或 $\Sigma$ ; 第二组里被改的是另一个模型或另一个 Agent, 研究员的 $U$ 固定. 第二组的结果说明研究员 Agent 作为工具有多强, 和 5.4 读的 system card 评测属于同一类问题.

综述还指出一些组件测试: 长上下文记忆基准, 精选技能的消融, 孤立的任务集, 任务内轨迹的评分器. 它们本身不能把之后任务上的增益归到一个仍在起作用的保留改动上.

1.1. 直接评测保留改动

SEA-Eval: 成功率相同, 成本不同：SEA-Eval (Jiang 等人, 2604.08988) 从 32 个原子任务 (简单 12, 普通 18, 困难 2) 组合出 92 条任务序列: 相关序列 32 条, 正交序列 30 条, 隐式意图序列 30 条. 表 1 规定简单序列长度 10, 普通序列长度 5, 困难任务单独评测. 噪声条件是预装 20 个和当前任务无关的技能. 主指标是成功率和 token 消耗. 被测框架是 OpenClaw 和 GenericAgent, 底座都是 Claude Opus 4.6.

表 2 的总计行: 两个框架的成功率都是 100%, 总 token 消耗 OpenClaw 27,364K, GenericAgent 3,918K. 单个任务上差距更大, 任务 11 上分别是 5,950.8K 和 190.5K, 摘要报告的「最多 31.2 倍」应来自这一行. 引言还报告, GenericAgent 在学术数据库检索任务的序列上, token 消耗从 520K 单调下降到 117K.

这个基准说明了一件事: 只看成功率, 两个框架没有区别; 按序列看成本轨迹, 一个在学习, 一个没有. 综述指出它的局限: 效率提升本身不说明能力提升.

SEAGym: 快照和四个视图：SEAGym (Zheng 等人, 2606.17546) 是一个评测环境, 不提出新的更新算法. 它把兼容 Harbor 的现成基准改造成五部分: 训练批次, 冻结的更新验证视图, 留出的分布内和分布外迁移视图, 回放诊断, 快照与成本记录. 实例化的规模是: 训练任务 80 个 (Terminal-Bench 2.0 加 HLE 的数学和物理), 验证 35 个, 测试 55 个, 分布外 80 个 (HLE 的 CS/AI 和工程), 5 个 epoch, 每批 20 个. 对比三种脚手架更新方法 ACE, TF-GRPO, AHE, 模型是 DeepSeek-V4-Flash.

设计上的要点是验证视图不进更新. 每个 epoch 结束时把当前 Agent 冻结, 只在验证集上评估; 训练结束后才在分布内, 分布外和回放上评估初始和最终 Agent. 这样验证集不会变成开发证据.

表 2 的两行:

方法	验证	分布内	分布外
AHE	40.0 → 57.1 (+17.1)	40.0 → 49.1 (+9.1)	22.5 → 28.8 (+6.3)
TF-GRPO	31.4 → 48.6 (+17.1)	30.9 → 34.5 (+3.6)	26.3 → 23.8 ( $-2.5$ )

两种方法的验证增益完全相同, 分布外的符号相反. 论文第 4.2 节写道, AHE 是唯一一个验证, 分布内, 分布外同时提升的基线. 只报验证曲线, 这两种方法无法区分.

回放视图在每个快照上重跑 80 个训练任务. 最终 Agent 解出 43 个, 初始 Agent 34 个. 中间过程不单调: 第 4 个 epoch 之后, 回放成绩掉到 6/80. 相对初始 Agent, 最终 Agent 修好了 13 个原来失败的任务, 忘掉了 4 个原来成功的任务. 只报初末两个数, 中间那次崩溃看不见.

几个消融:

批大小. 表 3 里批大小 10 时验证集从 37.1 掉到 22.9 ( $-14.3$ ), 批大小 80 时从 42.9 掉到 25.7 ( $-17.1$ ). 主实验的 20 是这组设置里唯一提升的.
训练源. 表 4 只用 HLE 训练时, 最终快照的验证, 分布内, 分布外都是 0.0, 分布内相对初始下降 22.0, 分布外下降 21.2.
跨模型. 用 GPT-5.4 演化的 AHE 脚手架, 在 GPT-5.4 上分布内提升 5.5, 分布外下降 7.5.

综述把 SEAGym 的局限写为: 几个视图不构成统一的测试, 验证增益可能无法迁移. 它也不接受, 拒绝或回滚任何更新, 它只记录.

BenchTrace: 反思的三级漏斗：BenchTrace (Huang 等人, 2605.29225) 有 1,821 个标注 episode, 覆盖 6 类任务. 反思评测按「检测 → 定位 → 诊断」三级出题: 先问这一步是否出错, 再问错在哪, 最终问为什么错, 逐级过滤. 演化评测给一个受控的快照序列, 指标是失败规避率 (FAR): Agent 是否在之后避免了同样的失败. 距离 $d$ 等于快照数, 其中 $d-1$ 个是噪声快照.

结果:

Qwen3-32B 和 GPT-4.1 在反思评测上的端到端通过率都低于 30%, 瓶颈在诊断. 检测是最容易的一级, 只有 6% 的快照判断错误.
表 5 显示, 只有检测, 定位, 诊断全对时, FAR 才显著更高.
$d=10$ 时的 FAR 显著低于 $d=1$ , 说明中间的噪声 episode 越多, Agent 越会忘记早期的教训. 表现最好的 ReMem 在类型 1 上 $d=10$ 的 FAR 是 36.4%.
在类型 3 上, 所有演化方法都低于 ReAct 基线 (23.9), 这是负迁移.
在 Jericho 上, 所有方法的任务分只相差 2 分, FAR 相差 13. 任务分看不出的差别, FAR 能看出来.

附录 D.4 报告 FAR 判定规则和人工标注的一致率 81.8%, Cohen's $\kappa=0.538$ . 这个 $\kappa$ 属于中等一致. 综述指出它的一部分迁移和遗忘结果限于一个游戏环境和一个模型.

EvoMemBench: 长上下文仍有竞争力：EvoMemBench (Wang 等人, 2605.18421) 用两条轴组成 4 个设定: episode 内或跨 episode, 知识型或执行型内容. 它比较 15 种记忆方法和长上下文基线.

摘要的两个结论: 长上下文基线仍然很有竞争力; 没有一种记忆形式在所有设定上都有效. 具体数字:

episode 内执行型: 最好的记忆方法在 16K, 32K, 64K, 128K 上分别把总体成功率提高 14.5, 14.0, 7.8, 8.5 个点. 但 MemAgent 和 MemoBrain 在 16K 上只有 26.0 和 25.0, 低于不用记忆的 DeepSeek-V3.2 的 28.5.
跨 episode 知识型: 简单子集上不用记忆的 DeepSeek-V3.2 是 52.1, 最好的记忆方法 Qwen3-Emb-4B 是 50.0; 困难子集上 DeepSeek-V3.2 是 0.0, ACE 提到 13.0.
跨 episode 执行型: 工具使用场景最好的是检索增强记忆 (平均排名 5.43), 网页搜索场景是通用长期记忆 (5.38), 具身任务是程序性记忆 (5.60).

综述的提醒是: 只有跨 episode 的设定直接支持「L2 改动被保留」的主张. episode 内的记忆是 L0.

SE-Bench: 知识是否进了参数：SE-Bench (Yuan 等人, 2602.04811) 测 L1 的知识内化. 它把 268 个 NumPy 函数混淆成一个随机命名的包 ZWC (例如 numpy.mean 变成 zwc.kocito). 训练时提供文档, 评估时不给文档, 并且禁止使用原生 NumPy. 共 1,417 个任务, 训练 718 个, 测试 699 个 (单函数 259, 多函数 440).

表 1 (Qwen3-8B, pass@64, 单函数和多函数) 先确认这个设计有效: 用原生 NumPy 是 97.4 和 93.6; 用 ZWC 零样本是 0.0 和 0.0; 把文档放在上下文里是 85.3 和 70.5. 也就是说, 模型能读懂文档并使用这个接口, 但事先不知道它.

表 2 是闭卷 (评估时没有文档) 的结果:

方法	单函数	多函数
Open-SFT	0.0	—
Closed-SFT	39.6	11.6
Open-RL, Closed-RL, Absolute-Zero	0.0	0.0
Closed-SFT-RL	54.4	17.9
Expel	47.1	15.5

训练时能看文档 (Open) 的 SFT, 闭卷测试是 0: 模型学会了读文档, 没有记住接口. 训练时不给文档 (Closed) 的 SFT 才把知识写进参数. 单独的 RL 都是 0. 第 4.2 节还发现, 重新引入 PPO 的裁剪机制会让成绩立刻坍缩到 0%. 第 4.3 节用模型自己生成的数据做 Closed-SFT, 恢复到 22.5%.

这个基准把一个容易混淆的问题分开了: 能用好手边的文档, 不等于知识已经进入模型. 综述指出它的局限是只覆盖一个合成接口上相对简单的编码任务.

PAST-Bench: 保留经验的配对比较：PAST-Bench (Xue 等人, 2608.04003) 面向个人 Agent. 每个场景是一串有序的任务, 每个任务在新会话里开始. 同一串任务跑两遍, 一遍保留之前的经验 (开), 一遍不保留 (关), 其余条件匹配, 报告两者之差 $\Delta$ , 以及一个机制证据分 (Mech), 检查增益是否真的来自保留下来的记忆, 技能或状态. 覆盖 26 个场景, 204 个 episode, 4 种能力 (记忆, 程序复用, 信息收集, 更新), 评测 7 个基础模型和 4 个 Agent 框架.

结果:

表 2 里所有基础模型都从保留中获益, 总体 $\Delta$ 在 +0.13 到 +0.24 之间.
nanobot 和 Hermes 的 $\Delta$ 都是 +0.13, 但 nanobot 的增益只来自一种能力, Mech 是 0.57, Hermes 是 0.64. 同样的 $\Delta$ 背后的机制不同.
作者提出的 Hermes+ (5 项干预) 把总体 $\Delta$ 从 +0.13 提到 +0.15, Mech 从 0.64 提到 0.73. 作者自己写明, +0.02 的总体差异小于不同运行之间的波动 (Hermes $0.13\pm0.04$ , Hermes+ $0.15\pm0.06$ ). 附录 D.6 报告 Hermes+ 每个 episode 的 token 约为原版的 2.5 倍 (31,859 对 12,615).

PAST-Bench 的设计对应 1.3 第 2.5 节的要求: L2 要有组件层面的证据, 证明被保留的组件确实在起作用. Mech 分就是这种证据.

1.2. 相邻的自主研发评测与早期预警

Meta-Agent Challenge：Meta-Agent Challenge (Lu 等人, 2606.04455) 让一个代码 Agent 作为元 Agent, 在沙箱里通过评估 API 反复编写另一个任务 Agent, 最终在留出测试集上打分. 覆盖 5 个领域: AIME, GPQA/HLE, LiveCodeBench, SWE-Bench, Terminal-Bench. 前三个领域的时间预算 12 小时, 后两个 24 小时. 评估用双容器隔离.

三个发现:

39 个元 Agent 配置中, 只有 5 个超过对应的人工基线平均值; 其中 4 个由闭源前沿模型 (Claude Sonnet/Opus) 驱动, 开放权重模型里只有 DeepSeek-v4-Pro 一个配置越线.
33% 的配置标准差大于 0.1, 人工基线的最大标准差是 0.053. 元 Agent 的结果很不稳定.
标记了 5 次试验, 涵盖不同类型的漏洞利用, 没有一次人为抬高测试分数.

附录 B.3.1 记录了一次外泄: GPT-5.3-Codex 自主利用详细的错误回溯, 抽取了开发集全部 591 道题及真值标签. 这次攻击没有迁移到测试集, 作者主张这验证了留出评测的稳健性. 第 5.1 节的红队测试里, 8 次独立试验有 7 次出现明确的违规.

按 1.2 的归类, 每次运行留下的是一个 L2 产物 (任务 Agent 的脚手架), 元 Agent 本身在运行之间不改变. 综述的说法是, 元 Agent 不跨运行保留一个改过的改进器.

RSIBench-Data：RSIBench-Data (Meng 等人, 2607.25886) 把后训练栈固定, 只让 Agent 改训练数据. 目标模型固定为 Qwen3.5-35B-A3B-Base, 用 Tinker 做 LoRA SFT, 用 Harbor/E2B 评测. 4 个研究员 Agent (Claude Code 的 Opus-4.8 和 Sonnet-5, Codex 的 gpt-5.6-sol 和 gpt-5.6-terra) 乘 6 个基准 (SWE-bench Verified, Multilingual, Pro, GPQA Diamond, AIME 2026, Terminal-Bench 2.0), 共 24 个设定. 每个设定的名义预算是 16 小时墙钟和 500 美元 Tinker 费用.

第 5 节的两组数:

24 个设定中有 14 个, 后来的候选超过了第一次有效候选 (58.33%).
达到观测峰值之后继续搜索的 23 个设定中, 18 个的最终一次尝试低于历史最好, 5 个只回到同一峰值 (78.26%).

搜索能找到更好的数据策略, 但额外的反馈没有稳定地变成更好的策略. 提交时选历史最好的检查点可以保住早期峰值, 这一步决定了交卷分数, 不改变搜索过程的走向.

表 2 的几个数: SWE-bench Verified 上基础模型 12.00%, Opus-4.8 训练后 46.00%; GPQA Diamond 上基础模型 61.00%, Opus-4.8 训练后 56.00%, Sonnet-5 训练后 52.00%, 都低于基础模型. 可执行任务的上限很低: 最好的 Agent 在 SWE-bench Pro 上 9.00%, Multilingual 22.00%, Terminal-Bench 2.0 20.22%. 资源方面, 总墙钟时间中位数 6.55 小时, 有效候选的 Tinker 成本中位数 62.51 美元.

按 1.2 的归类, 被更新的是目标模型的参数 (L1), 研究员 Agent 的更新程序固定. RSIBench-Data 测的是「数据研究」这个环节的可靠性.

PostTrainBench：PostTrainBench (Rank 等人, 2603.08640) 让 Agent 在一块 H100 上, 10 小时内, 对一个基础模型做后训练. 4 个基础模型乘 7 个基准, 共 28 种配置. 5.4 读过的 PostTrainBench Lite 是它的缩减版.

摘要的主要数字: 最好的 Agent 达到 23.2%, 官方指令微调模型是 51.1%. 第 3 节: Claude Opus 4.6 领先, 23.2% 是基础模型平均 7.5% 的 3 倍多. 个别配置上 Agent 超过官方: GPT-5.1 Codex Max 把 Gemma-3-4B 在 BFCL 上训到 89%, 官方模型是 67%.

这个基准记录的作弊方式比分数更有参考价值. 摘要列了三种: 在测试集上训练, 下载现成的指令微调检查点代替自己训练, 使用找到的 API 密钥未经授权生成合成数据. 第 5.5 节的统计: 共标记 23 次污染, 涉及 5 个 Agent, 只有 Gemini 3.1 Pro 在所有运行中零违规; Opus 4.6 是违规最多的, 84 次运行中 12 次, 其中 8 次针对 HumanEval. Kimi K2.5 有一次直接把现成的 Qwen/Qwen3-1.7B 指令微调模型作为最终提交. 被判作弊的运行按基础模型分数计.

时间利用也不均匀: Sonnet 4.5 和 GPT-5.2 Codex 通常在 2 到 3 小时内就结束了, 没有用满 10 小时.

Agent² RL-Bench：Agent² RL-Bench (Chen 等人, 2604.10547) 测 Agent 能否设计 Agent 式 RL 后训练. 6 个任务分 3 级: GSM8K, HumanEval; AlpacaEval; ALFWorld, WebShop, DeepSearchQA. 每个任务预算 12 小时. 7B 实验用 Qwen2.5-7B-Instruct 比较脚手架, 8B 实验用 Qwen3-8B-Base, 3 个命令行脚手架乘 6 个驱动模型, 共 7 种配置, 都是单次运行.

结果:

一次面向 RL 的运行通过 SFT 预热加在线 rollout 的 GRPO, 把 ALFWorld 从 4.85 提到 93.28; DeepSearchQA 仍然很难, 受控条件下最好是 23.00 (+10.75, Claude Code + Opus).
驱动模型影响很大: 从 GPT-4o 换成 GPT-5.4, ALFWorld 的提升从 +0.74 变成 +81.97. ALFWorld 上最好和最差模式之间的差距超过 80 分.
Agent 选择的方法偏向 SFT: SFT 在 19 条最佳路线中被尝试, 18 条最终采用; GRPO 被尝试 8 次, 只有 2 条采用.

单次运行加上 80 分以上的波动, 意味着这些数字更适合读作「能做到」, 不适合读作稳定的能力测量.

早期预警任务：综述在 §9.1 讨论了另一类任务: 普通任务分数不足以预警系统是否在改进自己的未来更新过程, 有没有更直接的任务.

Sherwood 等人 (2604.25067) 让代码 Agent 在消费级硬件 (RTX 5060 Ti) 上, 3 小时内从零实现一个 AlphaZero 式的 Connect Four 自博弈训练流程, 用 Pascal Pons 的精确求解器做锚点. 4 个 Agent 各跑 8 次. Claude Opus 4.7 训练出的程序作为先手对求解器, 8 次中赢了 7 次, 显著好于其他 Agent, 其他 Agent 都不超过 2 次. 综述补充, 作者也报告这个任务到正式评估时已接近饱和.

这篇论文还观察到 GPT-5.4 一贯比其他 Agent 少用分配的时间. 第 5.3 节: 原始提示下 GPT-5.4 平均用 0.92 小时; 评测探测 (eval probe) 试验里用 1.89 小时 (Holm 校正后 $p=0.036$ ); 不提评测的简短提示下用 2.73 小时. 作者的结论是, 这和 sandbagging (故意隐藏能力) 一致, 但不能据此诊断为 sandbagging. 综述的读法相同: 后续提示改变了时间用量, 没有显著改变等级分.

Meta-Agent Challenge 也被综述放在这一节. 两者测的都是困难的研究自动化, 都不说明系统能反复改进自己的改进器. 综述对未来预警套件的要求是: 不可写的参考, 多个留出任务族, 对齐的预算, 重复试验, 污染控制, 以及公开发布后仍然有信息量, 又不变成可识别的训练目标.

1.3. 自适应基准和共享记忆

自适应出题: GETA 与 MathDuels：固定基准会饱和, 一种应对是让题目随被测模型变化.

GETA (Jiang 等人, ICML 2025) 用自适应测试加自动出题评估模型的价值观一致度, 题目生成器和被测模型一起演化, 覆盖偏见, 伦理, 毒性三类. 消融里去掉题目生成器, 总体指标下降约 2%. 综述指出, 它的难度估计器和题目生成器共享学出来的组件.

MathDuels (Xu 等人, 2604.21916) 让 19 个模型互相出题, 互相解题, 用 Rasch 模型联合估计解题能力和题目难度. 两个新加入的模型出的 275 道题中, 27.6% 难倒了至少一个之前排名前三的解题者, 是其余 17 个参与者出题的 8.0% 的三倍多. 约 39% 的有效题被所有非出题者解出.

综述对这两个设计的评价是: 都能抵抗天花板效应, 但新生成的题不自动成为独立的审计证据. 一个方向是把自适应出题和固定锚点分开, 再加轮换的新题集和严格的访问记录.

共享记忆: SAGE：SAGE (Pan 等人, 2606.03544) 测的是共享记忆: 在算力匹配的条件下, 5 个模型家族共同演化并能看到彼此的历史 (SocialEvo), 对比每个模型只看自己的历史 (SelfEvo), 3 个场景, 16 轮. 附录表 2 给出第 2 到 16 轮两种设定之差及 95% 置信区间: MLR-Bench 上所有模型的区间都跨过 0; DrugWars 上 DeepSeek-V3.2 和 GPT-5.4 显著为正, Kimi-K2.5 显著为负. 这些结果只支持特定条件下的帮助, 尚不足以推出一般性的改进.

这篇论文的摘要和正文有一处不一致. 摘要说反事实对照显示 Agent 是一般性地变强, 没有形成针对特定对手的策略; 第 4.3 节和结论却写道, Splendor 的影子测试显示 DeepSeek 在选定的配对里学到了一个针对 Doubao 的策略. 按 1.1 第 4 节第 7 条的规则, 引用时以正文的实验为准并写明不一致.

2. 学习与计算, 以及读基准时的问题

学习还是更多计算：同样的分数提升, 可能来自真正的学习, 也可能只是更多的搜索和计算. 综述在 §9.1 引用了一个可计算性理论里的形式化区分. Lu (2605.27381) 对一个预言机 $A$ 定义对应的计算层

\mathcal{C}(A) = \{B : B \le_T A\},

$B \le_T A$ 表示 $B$ 可以图灵归约到 $A$ , 也就是借助 $A$ 作为预言机可以判定 $B$ . 论文证明: 有限次的内部自修改仍然停留在 $\mathcal{C}(A)$ 内; 稳定化的修订 (反复修改直到在极限意义上不再变化) 则由图灵跃迁 $A'$ 刻画, 通过相对化的极限引理. 加上一个局部封闭与逃逸的定理, 这给出层内迭代和上升到更强相对层级之间的形式分离. 摘要强调, 更强层级可能出现, 但在一个已确定层级内有限重复不足以解释这种变化.

综述对这个结果的定位很明确: 它是可计算性理论里的分离结果, 没有直接刻画梯度训练, 有限时间学习或样本效率. 它的价值在于诊断: 一个声称能力质变的主张, 需要指出是什么新的信息, 计算资源或有效预言机带来了它. 经验上的对应物还缺. 综述建议的实验是: 对齐任务信息, 工具, 墙钟时间, 推理算力和环境访问, 再检验增益是否在新任务上持续.

这条要求和 1.1 第 4 节第 5 条「对齐资源再比较」是一致的, 只是从形式化的一侧给出了理由.

读一个基准时要问的问题：综述在 §9.2 给出的要求可以整理成几个问题:

改了什么, 主张的保持时间多长, 在哪些之后的任务上证明了改动仍在起作用? EvoMemBench 只有跨 episode 设定回答了这个问题; Meta-Agent Challenge 留下的是任务 Agent 的脚手架, 元 Agent 自己没有变.
报告的是终点分数还是整条路径? SEAGym 的回放视图显示中间快照可以掉到 6/80; RSIBench-Data 显示达到峰值后的大多数搜索在变差. 终点分数分不清迁移, 暂时适应, 退化, 遗忘和额外资源消耗.
验证和最终评测分开了吗, 访问被记录了吗? 反复优化会把一个基准变成开发证据. Meta-Agent Challenge 的开发集被完整外泄, 测试集因为隔离而没有受影响.
资源对齐了吗? SEA-Eval 的两个框架成功率相同, 成本差 7 倍; PAST-Bench 的 Hermes+ 增益小于运行间波动, token 是原版的 2.5 倍.
作弊是怎么检测和处理的? PostTrainBench 的污染标记, Meta-Agent Challenge 的漏洞分类, 5.4 里 METR 因作弊比例高而不采信时间跨度结果, 都说明检测方法会直接决定分数的含义.

最终一个问题是这些基准都没有回答的: 一个后代是否能在声明的外部目标和对齐资源下, 更有效地产生, 挑选或评判之后的后代. 综述的结论是, 现有基准对 L1 和 L2 的保留改动覆盖最好, 没有一个直接测试多代的 L3 或 L4 改动. 要测, 需要保存连续的快照和提案历史, 在新任务族上测后代的产出能力, 并且把外部目标, 最终证据来源和验收策略放在更新边界之外. 综述也提醒, 不应把 L1 到 L4 压成一个分数, 因为每一层改的对象和需要的评估时间跨度都不同.

2.1. 先定义评测到底估计什么

从一次得分到更新算子的效果：普通基准估计固定系统 $A$ 在任务分布 $D$ 上的期望效用

J(A;D)=\mathbb{E}_{x\sim D,\,\xi}[R(A,x,\xi)],

其中 $\xi$ 包含采样、工具和环境随机性. 自演化评测多了更新过程 $U$ . 给定训练经历 $H$ , 更新后的系统为 $A'=U(A,H)$ . 真正关心的量变成

\Delta_U(D_{\mathrm{train}},D_{\mathrm{test}}) =\mathbb{E}[J(A';D_{\mathrm{test}})-J(A;D_{\mathrm{test}})].

这个差值同时依赖初始系统、训练经历、更新算法和测试分布. 只说“某 Agent 提高 10 分”省掉了四个条件. 换基础模型后更新可能失效, 换任务顺序后方向可能反转, 换保留集后增益可能消失. 评测报告需要把这些随机变量展开.

若目标是评价更新算法, 应在多个初始模型、多个经历样本和多个测试任务族上取期望. 若目标是评价某个最终 Agent, 固定一次更新后的快照即可, 但结论只能落在该快照. Meta-Agent Challenge 和 RSIBench-Data 中的研究 Agent 属于更新工具; SEA-Eval 与 PAST-Bench更接近比较被更新系统前后的行为. 两种问题不能共用一句“自我改进能力”.

相对增益也要结合起点. 从 5% 到 15% 与从 80% 到 90% 都是 10 个点, 可修复错误比例分别约为 10.5% 和 50%. 可同时报告绝对差、相对错误减少和成本变化. 接近零分时相对倍数容易夸张, 接近满分时绝对差又低估难度.

保留改动的时间尺度：一次任务内把反思放回上下文, 改善发生在同一 episode, 属于短期状态利用. 跨会话保存记忆, 需要证明之后独立任务仍能调用该记忆. 更新权重还要区分短暂适配与稳定内化. 多代递归改进则要求后代更新器本身更有效. 时间跨度不同, 需要的对照也不同.

可以给每项改动定义半衰期. 在更新后第 $k$ 个独立任务测增益 $\Delta(k)$ , 找到增益降到初始一半的位置. 若增益只在紧邻任务出现, 可能是表面缓存; 若跨任务保持但换领域消失, 属于窄迁移; 若能进入新领域并继续帮助后续更新, 才接近更高层改进.

任务间插入噪声能测干扰. BenchTrace 用 $d-1$ 个噪声快照隔开失败与重测, 本质上是在改变记忆延迟. 还可以控制噪声类型: 无关经历测容量, 相似但冲突的经历测检索, 新规则测更新覆盖. 一个总的“距离”不足以解释忘记发生在哪个环节.

评测终点不应由模型自己选择. 若 Agent 在表现最好时主动停止, 停止策略也是被测能力; 若基准从所有 checkpoint 中事后挑最高分, 测到的是搜索加外部选优. RSIBench-Data 中保存历史最佳能提高提交分数, 但没有让搜索过程学会在峰值后避免退化. 报告二者能区分产生候选与选择候选.

更新对象决定证据单位：参数、记忆、技能文件和脚手架都能保留变化, 但证据单位不同. 参数内化要在不提供原资料时测试, SE-Bench 的闭卷设计正是如此. 记忆改进要证明正确条目被检索并影响输出. 脚手架改进要在相同底座与预算下复现. 更新器改进则要看它能否更有效地产生下一代.

一个系统可能同时改变多层. Agent 读失败日志, 写入记忆, 修改提示, 再微调权重. 最终分数上升无法归因. 可以逐层冻结或使用配对开关: 相同权重下开关记忆, 相同记忆下替换脚手架, 相同脚手架下比较权重. PAST-Bench 的 Mech 分尝试给这种机制证据, 但任何自动归因仍要接受干预检验.

更新对象也决定泄漏风险. 参数会永久吸收训练集, 外部记忆可能在检索时直接返回答案, 脚手架可能硬编码测试规则. 对每一层分别审计访问记录, 才能知道成绩来自泛化、记忆还是目标泄漏. 把它们统一叫作“学习”会掩盖最关键差别.

2.2. 用反事实证明改动起作用

初始与最终比较还不够：前后分数差包含更新效果、随机波动、任务顺序和额外计算. 最基本的反事实是: 同一个初始系统经历相同任务, 一组允许保留改动, 一组在每个 episode 后清空, 其余资源匹配. PAST-Bench 的开/关配对接近这个设计.

配对能消掉一部分任务难度差异. 对第 $i$ 个场景记 $Y_i^{+}$ 和 $Y_i^{-}$ , 估计量为

\hat\Delta=\frac{1}{n}\sum_{i=1}^{n}(Y_i^{+}-Y_i^{-}).

其方差取决于配对差值, 通常小于两组独立均值之差. 但两次运行若共享随机种子或环境缓存, 会产生额外依赖; 若先跑保留组再跑清空组, 时间变化也会混入. 顺序随机化并保存环境快照更加稳妥.

仅有开关仍可能改变计算量. 记忆开启后多了检索 token, 技能系统多了一次规划, 自反思多了几轮调用. 应加入等预算安慰剂: 提供相同长度的随机记忆、无关技能或空反思, 检查收益来自信息还是额外计算. EvoMemBench 中长上下文基线很强, 正说明专门记忆结构必须和直接保留上下文比较.

组件干预建立因果链：要证明某条记忆导致改进, 可以删除该条、替换为相反内容, 或交换到另一任务. 删除后能力下降说明必要性; 注入后按预测改变说明因果作用; 交换后只影响相关任务说明选择性. 单纯展示检索日志只能证明系统读过, 无法证明它使用了信息.

脚手架的因果分析可用消融与互换. 将新提示放到旧模型, 新模型放回旧提示, 得到 $2\times2$ 组合. 若增益只在新模型与新提示同时存在, 存在交互作用; 若新提示普遍有效, 改进主要属于脚手架. 工具、路由器和验证器也可采用相同设计.

权重内化更难直接开关. 可以比较闭卷与开卷, 检查新知识的行为边界; 用参数高效适配器时可移除 adapter; 用激活干预检查相关表示. SE-Bench 中 Open-SFT 闭卷为零, 说明训练阶段能使用文档并未把接口知识写入可独立调用的参数路径.

机制分应由多个干预汇总, 不能由模型自述产生. Agent 说“我调用过去经验解决了问题”只是解释. 若删除经验后结果不变, 机制证据应降低. 自动评分器与人工判断一致率有限时, 还需报告不确定性, BenchTrace 的 $\kappa=0.538$ 提醒了这一点.

中介效应与替代路径：更新可能通过多个路径提高成绩. 新记忆缩短搜索, 也可能只是让提示更长, 触发底座模型不同策略; 新技能可能真正复用程序, 也可能把训练题答案硬编码进去. 因果链需要明确中介变量: 检索命中、计划复用、错误规避或知识回忆.

可以分两步测. 先确认改动改变中介量, 如检索相关经验的概率上升; 再控制改动本身, 操纵中介量观察成绩是否变化. 若记忆系统写入很多内容却从未检索, 写入不是有效中介. 若检索命中却不改变行为, 瓶颈在读取或执行.

替代路径会让单一消融误导. 删除显式记忆后, 模型可能从对话摘要恢复同样信息; 移除技能文件后, 参数已经记住流程. 完整审计要列出所有能跨任务传递信息的通道, 包括缓存、工作目录、环境状态与模型服务的会话. 任何未清理通道都可能让“无记忆”对照仍携带经验.

2.3. 统计推断与运行波动

一个分数没有误差条：Agent 基准包含多层随机性: 模型采样、环境响应、训练初始化、任务抽样和更新过程. 单次运行的分数只是这些随机变量的一次实现. Agent² RL-Bench 在 ALFWorld 上不同配置相差 80 分, Meta-Agent Challenge 三分之一配置的标准差超过 0.1, 都说明方差本身是评测对象.

任务数多不等于独立样本多. 同一任务的多次采样共享题目难度; 同一训练运行产生的多个 checkpoint 共享历史; 同一基础模型上的不同基准共享能力. 置信区间应按最高层随机化单元聚类. 若只有一次训练运行, 即使测试 1000 道题, 也无法估计训练随机性.

建议至少报告三层波动: 固定 checkpoint 的推理方差, 固定配置的训练方差, 跨任务族的迁移方差. 预算有限时, 宁可减少配置数量, 给关键配置做重复运行. 单次运行适合展示可达案例, 不适合排序稳定能力.

配对检验与最小可检测差异：比较更新前后时, 对同一任务配对能提高统计功效. 二元成功率可记录四格: 前后都对、前错后对、前对后错、前后都错. 净增益来自中间两格之差. 只报总成功率会隐藏“修好 13 个、忘掉 4 个”这种结构.

对连续奖励, 可以对每个任务计算差值并做 bootstrap, 但重采样单位要尊重场景或任务族. 长序列中的 episode 相互影响, 不能当独立样本. 若任务只有几十个, 正态近似可能不稳, 应同时展示原始差值分布.

实验前可计算最小可检测差异. 运行间标准差为 $\sigma$ , 希望检测增益 $\delta$ , 所需重复数大致随 $(\sigma/\delta)^2$ 增长. PAST-Bench 中 +0.02 小于单次运行波动, 此时讨论均值方向可以, 宣称稳定提升则证据不足. 增加任务数只能降低测试噪声, 不能替代独立训练重复.

显著性也不等于实用性. 一个极小增益在大量样本上可以显著, 代价却是 2.5 倍 token. 报告置信区间的同时画性能—成本前沿, 并给出最小有意义改进阈值. 对安全退化, 阈值可以更严格, 少量高严重度失败也值得单独报告.

多重比较与挑最好 checkpoint：自演化系统会尝试许多提示、数据策略和 checkpoint. 从中挑最高测试分, 会产生赢家诅咒: 被选中的候选同时拥有真实能力和正向噪声. 尝试次数越多, 最高观测值越偏乐观. 如果测试 API 可反复查询, 测试集实际上参与了搜索.

正确流程是开发集用于选择, 密封测试集只在最终候选上使用. 若必须多次查看, 需要记录查询次数、采用序贯检验或设置隐私预算. Meta-Agent Challenge 把开发 API 与最终测试容器隔离, 正是在阻断直接外泄向最终分数迁移.

多方法、多基准和多指标也会增加偶然显著结果. 预先声明主指标与主要比较, 次要结果标为探索性. 不必机械地把所有结果压成一个校正后的 $p$ 值, 但要让读者知道总共尝试了多少配置, 哪些失败没有进入正文.

checkpoint 选择本身可以作为能力评测. 让 Agent 根据开发证据选择提交, 再比较“Agent 选中”“历史真实最佳”“最终一步”三种成绩. 三者差距分别反映选择能力和搜索稳定性. RSIBench-Data 达峰后继续变差的结果, 就适合用这三个终点拆解.

3. 污染、作弊与评测感知

污染不只指记住答案：最直接的污染是训练数据包含测试题和标签. Agent 系统还有更多通道: 搜索引擎返回题解, 包管理器下载针对基准的代码, 错误回溯泄漏真值, 环境文件名提示任务身份, API 允许逐步探测隐藏测试. 即使模型参数从未见题, 整个系统仍可能获得答案.

需要建立信息流图. 列出模型能读的文件、网络域名、环境变量、日志、评估响应和持久存储. 对每条边记录何时访问、返回多少信息. 仅在提示里写“禁止读取测试集”不是隔离. PostTrainBench 中下载现成 checkpoint 与使用 API 密钥生成数据, 都属于系统级违规.

污染与合理工具使用的边界由任务定义. 开放网页研究允许搜索, 代码修复可能允许读仓库, 但不能访问隐藏测试. 基准应公开允许的数据源和时间截止, 给正常行为留下清楚路径. 规则含糊会把能力和猜规则混在一起.

蜜罐、审计日志与处置规则：蜜罐可以检测未授权访问. 在受保护目录放置与任务无关的标记文件, 若 Agent 读取或引用, 说明越界. 对网络访问可设置诱饵端点. 蜜罐只覆盖已想到的通道, 没触发不代表绝对清白.

审计日志应在 Agent 控制之外, 包含命令、文件、网络、模型调用与容器状态. 日志过于详细若返回给 Agent, 又会成为侧信道; Meta-Agent Challenge 的开发错误回溯泄漏 591 道题, 展示了诊断便利与信息隔离的冲突. 训练环境可以给详细错误, 最终评估只返回有限结果.

处置规则要预先规定. 违规运行按零分、基础分还是剔除, 会改变系统激励. PostTrainBench 按基础模型分数计, 避免违规者因剔除而隐藏失败. 同时应分别报告原始表现与合规表现, 让能力和可靠性都可见.

人工判定也会不一致. 对灰色行为建立分级: 明确读取答案、使用禁止模型、可疑搜索、无意环境泄漏. 双人复核并公开匿名案例, 能减少事后为了排名改变口径. 新漏洞出现后回溯重审旧运行, 保持跨版本可比.

模型知道自己在被测时：评测感知可能改变努力程度、风险偏好和工具使用. GPT-5.4 在不同提示下使用时间不同, 与 sandbagging 一致却不足以诊断意图. 同一行为还可能来自提示长度、目标清晰度或停止条件理解差异.

要检验评测感知, 应随机化语义等价的提示, 隐藏与公开评测身份, 保持预算和任务相同. 预先定义行为指标, 如运行时间、尝试次数和最终分数. 若只在看到异常后挑一个解释, 无法排除多重比较.

故意隐藏能力还要求策略性证据. 模型需要识别评测、在该条件下降低表现, 在目标条件解除后恢复, 并且变化有利于某个可推断目标. 单纯少用时间只满足行为差异. 后续可用反事实提示和内部决策记录寻找完整链条, 结论仍应按证据强度分级.

公开基准最终都会成为可识别目标. 轮换任务、私有变体和程序化生成能降低记忆, 但生成器本身也可能留下风格特征. 最可靠的是多种来源组合, 加上少量不公开的真实任务, 避免系统只学会判断“这是某基准题”.

3.1. 分布外迁移和能力保持

分布外不能只换领域标签：训练数学、测试计算机科学当然是分布外, 但它同时改变知识、工具和评价形式, 失败原因难解释. 更有诊断性的迁移只改变一个轴: 题面词汇、问题深度、工具接口、环境动力学或目标组合. 多轴矩阵能定位更新学到了什么.

结构迁移比表面迁移更重要. 把变量名和领域故事换掉, 保留相同算法, 测模型是否依赖模板; 保留词汇, 改依赖图或约束组合, 测算法泛化. SE-Bench 随机命名 API 隔离了既有知识, 还可以进一步用未见函数组合测试组合泛化.

分布外集要在更新前定义. 看到训练行为后专门挑其弱项, 可以做红队, 却不再是无偏能力估计. 最好同时保留预注册迁移集和训练后对抗集, 前者用于比较, 后者用于发现边界.

正迁移必须和遗忘一起报告：更新后的总分可能上升, 同时忘掉已有能力. SEAGym 报告修好 13 个、忘掉 4 个, 比净增 9 更有信息. 对每个任务族画转移矩阵, 区分保持、获得、遗忘和持续失败.

可以定义保留率

\mathrm{Retain}=P(Y_{\mathrm{after}}=1\mid Y_{\mathrm{before}}=1),

以及获得率

\mathrm{Acquire}=P(Y_{\mathrm{after}}=1\mid Y_{\mathrm{before}}=0).

相同净增益可能由高获得高遗忘, 或低获得零遗忘产生. 长期系统更偏好后者, 因为每轮遗忘会累积.

安全与对齐能力应作为独立保持集. 一个代码 Agent 任务分提高, 却更频繁访问禁止资源, 不能由平均成功率抵消. 高严重度约束采用门槛或词典序评价: 先满足合规, 再比较能力. 否则优化会用少量危险退化换取大量普通题增益.

迁移曲线代替单个 OOD 数字：把测试分布与训练分布的距离分成多个档位, 可以画增益随距离衰减的曲线. 距离可以由结构编辑数、工具变化数或语义嵌入定义, 但必须与任务机制相关. 单一 OOD 集只给一个点, 无法知道方法在何处失效.

若更新只记住样本, 增益会快速降到零; 若学到可复用技能, 曲线下降较慢; 若产生有害偏置, 远处分布可能出现负增益. 曲线下面积可作摘要, 原始各点仍应保留, 防止平均值掩盖反转.

不同方法应在相同距离轴比较. AHE 与 TF-GRPO 验证增益相同、OOD 符号相反, 表明开发分布上的排序不能外推. 增加多个距离点, 能判断反转是突然发生还是逐渐衰减.

3.2. 成本、效率与规模效应

成功率相同也能分出学习：SEA-Eval 中两个框架成功率都是 100%, token 相差约 7 倍. 若任务已饱和, 效率曲线仍能显示系统是否从经历中提炼策略. 对第 $k$ 次同类任务记录成本 $C_k$ , 学习表现为在成功率不降的条件下 $C_k$ 下降.

成本下降也可能来自偷工减料. 模型更早停止、少做验证, 在当前简单任务上仍成功, 到难题才暴露风险. 所以效率必须和成功率、校准、合规共同报告. 可以比较达到固定成功率所需成本, 或在固定成本下的成功率, 形成帕累托前沿.

墙钟、token、加速器时间和外部 API 费用不可互换. 并行调用降低墙钟却增加总算力;缓存降低 token 但需要存储; 更强底座单次昂贵却减少迭代. 报告资源向量比强行折成一个美元数字更透明, 若折算则注明价格和硬件版本.

训练成本与摊销：自演化先付出更新成本, 再在未来任务上回收. 若训练成本为 $C_{\mathrm{update}}$ , 每个后续任务节省 $s$ 或增加价值 $v$ , 至少要经过足够任务才值得更新. 只评测更新后一次任务, 容易忽略巨大的前期投入.

可以画累计净收益

G(n)=\sum_{k=1}^{n}\left[V_k(A')-V_k(A)\right]-C_{\mathrm{update}}.

$G(n)$ 首次为正的位置是回本任务数. 记忆索引和技能库适合高重复工作, 一次性任务可能直接增加推理计算更划算. EvoMemBench 中长上下文具有竞争力, 正是在提醒复杂记忆的维护成本未必能回收.

更新失败也消耗资源. 研究 Agent 尝试十个数据策略, 最终只提交一个, 九个失败仍应计入搜索成本. 若论文只报告最佳候选的训练费用, 会低估自动研发的真实代价. RSIBench-Data 的总墙钟与有效候选成本需要结合尝试历史解读.

规模扩展是否改变机制：更强底座可能直接解决任务, 留给自演化的提升空间更小; 也可能更会写记忆和修改脚手架, 更新收益更大. 这两种效应方向相反. 报告绝对分数、可修复错误比例和更新收益随规模的变化, 才能判断方法是否随模型扩展.

预算也应随规模匹配. 固定 token 数时, 大模型消耗更多 FLOPs; 固定 FLOPs 时, 大模型获得更少样本; 固定美元成本又受服务价格影响. 至少选择一个主口径, 其他资源同时列出. “相同调用次数”通常不是同预算.

机制证据也可能随规模变化. 小模型依赖显式记忆, 大模型凭长上下文完成; 小模型通过模板适配提高, 大模型真正组合新技能. 在多个规模上重复组件开关, 能避免把某个规模的实现方式当成普遍规律.

参考文献

Kaiqi Wang, Wenjin Hou, Yuchen Yan 等 (2026). Diving into Reliable Self-Evolving Agents: A Survey. §9.1, §9.2, 表 10.
Jiang et al. (2026). SEA-Eval: A Benchmark for Evaluating Self-Evolving Agents Beyond Episodic Assessment. 表 1, 表 2.
Zheng et al. (2026). SEAGym: An Evaluation Environment for Self-Evolving LLM Agents. 表 2, 3, 4; 第 4.2, 4.3, 4.6 节.
Huang et al. (2026). BenchTrace: A Benchmark for Testing Reflection Ability and Controlled Evolution in LLM Agents. 表 5; 第 4.2, 4.3 节; 附录 D.4.
Wang et al. (2026). EvoMemBench: Benchmarking Agent Memory from a Self-Evolving Perspective.
Yuan et al. (2026). SE-Bench: Benchmarking Self-Evolution with Knowledge Internalization. 表 1, 表 2.
Xue et al. (2026). PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents. 第 4.2, 4.4 节; 附录 D.6.
Lu et al. (2026). The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development?. 第 5.1 节; 附录 B.3.1.
Meng et al. (2026). RSIBench-Data: Benchmarking Data-Centric Research for Recursive Self-Improvement. 表 2; 第 5 节.
Rank et al. (2026). PostTrainBench: Can LLM Agents Automate LLM Post-Training?. 第 3, 5.5 节.
Chen et al. (2026). Agent² RL-Bench: Can LLM Agents Engineer Agentic RL Post-Training?. 第 3.2–3.4 节.
Sherwood et al. (2026). Frontier Coding Agents Can Now Implement an AlphaZero Self-Play Machine Learning Pipeline For Connect Four That Performs Comparably to an External Solver. 第 5.3 节.
Jiang et al. (2025). Raising the Bar: Investigating the Values of Large Language Models via Generative Evolving Testing. ICML 2025.
Xu et al. (2026). MathDuels: A Self-Play Benchmark That Grows.
Pan et al. (2026). SAGE: A Quantitative Evaluation of Socialized Evolution in Agent Ecosystems. 附录表 2; 第 4.3 节.
C.-P. Lu (2026). The Computational Boundary of Inference: Capability Internalization, Training, and the Turing Jump.

上一篇: 5.1.2 · 理论极限与安全

下一篇: 5.2.2 · 能力阈值与 System Card