6.1.1 · 自动研究与科学发现

让 Agent 做研究的系统, 按搜索的对象和打分的方式大致分三类: 在程序空间里搜索, 由评估器打分的 FunSearch 和 AlphaEvolve; 从想法写到论文的 AI Scientist; 改训练配方的 autoresearch 与 A-Evolve-Training. 要问的是它们保留下来的改动落在哪里, 最终的分数由谁给.

1. 自动研究在 L0–L4 里的位置

产物和 Agent：综述在 §9.3 讨论应用时, 把「可执行的工程与 AI 开发」和「科学发现」分成两个方向, 并用同一个问题区分系统: 保留下来的是什么. 它举了三个例子:

• Darwin Gödel Machine 的后代保留了对 Agent 程序的修改, 并能生成之后的后代. 这是 Agent 一侧的演化.
• AlphaEvolve 保留的是由任务专用评估器选出的算法和基础设施产物, 它的外层搜索程序保持固定.
• EvoDS 把验证过的数据科学流程变成可复用的技能, 是脚手架一侧的路径.

综述随后说: 这些系统让更新容易执行和比较, 但通过现有的检查, 只说明在被测的行为下有改进. 长的更新序列仍然需要新鲜的测试, 防止反复使用留出集, 并且要分清三件事: 改进一个产物, 改进一个 Agent, 改进产生之后更新的程序.

1.2 第 4.5 节按这个区分把 AlphaEvolve 归为「不构成 L3」. 下面几节的系统大多数和 AlphaEvolve 同类: 它们的输出是一个算法, 一篇论文, 一份训练配方, 或者一个训练好的模型, 这些都在 Agent 的可保留状态 $\mathcal{A}=(\theta,\Sigma,U,C)$ 之外.

证据来源：综述对科学发现方向的另一个判断是, 关键的组织维度是最终证据的来源. 可执行代码和数值检查可以审计科学计算的步骤; 形式化证明工具可以在声明的假设下检查推导; 物理实验可以检验选定的经验主张. 模型审稿人可以用于分诊和诊断, 但不能独立确立新颖性, 陈述的忠实性或科学价值. 综述因此要求分层的证据: 任务内执行保证正确性, 受保护的留出问题检验迁移, 超出可执行检查范围的主张交给领域专家或实验评审.

下面三节按搜索对象读系统, 第 5 节读对自动论文的独立检查, 第 6 节把证据来源和层级放在一起比较.

1.1. 程序搜索

FunSearch：FunSearch (Romera-Paredes 等, Nature 625, 2024) 搜索的对象是程序, 而不是数学对象本身. 用户提供一段代码骨架, 其中一个函数由系统演化: cap set 问题里是给向量排优先级的 priority, 在线装箱问题里是决定把物品放进哪个箱子的 heuristic. 骨架的其余部分负责用这个函数构造解, 评估器给构造出的解打分.

一轮循环如下:

1. 从程序库里取出几个得分较高的程序, 拼成一个提示 (论文称为 best-shot prompting).
2. 语言模型 (Codey, 基于 PaLM 2) 根据提示写出新的函数.
3. 评估器执行新程序, 检查正确性, 给出分数.
4. 正确的程序按分数进入程序库.

程序库按岛屿组织: 论文把种群分成 $m$ 个独立的组, 每组单独演化. 方法部分写了重置规则: 每 4 小时, 丢弃最好成绩最低的 $m/2$ 个岛上的全部程序, 再用其余岛上的一个程序重新播种. 正文没有给出 $m$ 的值. 规模上, 一次实验的总样本数在 $10^6$ 量级, 通常用 15 个采样器和 150 个 CPU 评估器.

cap set?在 $\mathbb{F}_3^n$ 里, cap set 是不含三点共线的集合. 原文说, 在 $n=8$ 时 FunSearch 找到了比此前已知更大的 cap set, 规模 512; 此前的纪录在图 4a 中标出. 原文强调, 它找到的不只是这 512 个八维向量本身, 还有生成它们的程序. 这个结果并不容易复现: 140 次实验里只有 4 次找到了规模 512 的 cap set.

cap set 容量?容量 $C$ 刻画 cap set 规模随维数增长的速度, 已知上界 $C \le 2.756$. FunSearch 通过 admissible set 的构造改进了下界: 用 $\mathcal{I}(12,7)$ 把下界从 2.2180 提到 2.2184; 再用一个完整的 $\mathcal{I}(15,10)$ admissible set (对应 $C \ge 2.219486$) 和 $\mathcal{A}(24,17)$ 中一个规模 237,984 的部分 admissible set, 得到新的下界 2.2202.

在线装箱?物品依次到达, 必须立即放进某个箱子, 目标是用尽量少的箱子. 表 1 报告的是多用的箱子占比 (越低越好):

在 10 万个物品的 Weibull 数据上, FunSearch 的启发式只比最优解的下界多 0.03%.

FunSearch 的证据结构很简单. cap set 和 admissible set 的正确性可以逐点检查, 装箱结果可以直接计数. 评估器是用户写的确定性程序, 语言模型无法修改. 语言模型生成大量错误的程序并不影响结论, 只影响找到正确程序的效率.

AlphaEvolve：AlphaEvolve (Novikov 等, Google DeepMind, 2506.13131, 白皮书) 沿用了同一个循环, 把搜索范围从一个函数扩大到整个代码文件. 用户在代码里用 # EVOLVE-BLOCK-START 和 # EVOLVE-BLOCK-END 标出要演化的块, 块外的代码作为骨架, 把演化的部分接到 evaluate 函数上. 初始实现必须完整可运行, 但可以很简陋, 比如只返回常数的单行函数.

白皮书的表 1 对比了它和 FunSearch:

几个组件:

• 模型: Gemini 2.0 Flash 和 Gemini 2.0 Pro 组合使用. Flash 延迟低, 提高单位时间内的候选数; Pro 偶尔给出质量更高的建议.
• 输出格式: 默认让模型输出 diff, 只替换代码中的特定片段; 代码很短或需要整体重写时, 可以改为输出整个代码块.
• 评估级联: 用户可以指定一组难度递增的测试, 新解只有在前面所有阶段都表现足够好时, 才进入下一阶段.
• 进化数据库: 结合了 MAP-Elites 算法和基于岛屿的种群模型.
• 元提示演化: 模型在一个额外的步骤里提出指令和上下文, 这些元提示在一个单独的数据库里与解共同演化.

结果?白皮书报告的结果分两类.

数学方面, $4 \times 4$ 复矩阵乘法用 48 次标量乘法完成, 摘要称这是这个设定下 56 年来对 Strassen 算法的首次改进. 白皮书还在 50 多个数学问题上测试, 75% 的情况重新发现了已知最好的构造, 20% 的情况改进了已知最好结果; 例如 11 维的接吻数下界从 592 提到 593.

Google 基础设施方面:

• 数据中心调度 (§3.3.1): 新的启发式持续回收平均 0.7% 的全舰队算力, 这些算力原本会被闲置.
• Gemini 内核 (§3.3.2): 所有内核相对专家设计的启发式平均加速 23%, 对应 Gemini 整体训练时间减少 1%. 白皮书写道, Gemini 借助 AlphaEvolve 优化了它自己的训练过程.
• FlashAttention (§3.3.4): 目标配置下的内核加速 32%, 前后处理部分加速 15%.

摘要还说, AlphaEvolve 加速了它自己所用语言模型的训练.

消融?白皮书在张量分解和接吻数两个任务上做了消融, 分别去掉进化 (不用程序库), 提示中的上下文, 元提示演化, 整文件演化 (只演化损失函数), 以及强模型 (只用小模型). 白皮书对图 8 的总结是: 每个组件都带来了显著的提升. 第 2.3 节还说, AlphaEvolve 本身不依赖特定模型, 但消融显示底层模型越强, 它的表现越好.

「加速自己的训练」算哪一层：AlphaEvolve 优化了 Gemini 的训练内核, Gemini 又是 AlphaEvolve 的变异算子. 这条路径常被当作递归自改进的实例. 按 1.2 第 3.3 节的测试逐步看:

1. AlphaEvolve 在一次运行里产出一个更快的内核. 这是产物, 在 AlphaEvolve 的可保留状态之外.
2. 工程师把内核部署到训练基础设施上. 采纳的决定由人做.
3. 下一代 Gemini 用这个内核训练, 节省约 1% 的训练时间. 内核让训练变快, 本身不改变训练出的模型在决策上的语义.
4. 如果新的 Gemini 被用作下一版 AlphaEvolve 的变异算子, $\theta$ 确实变了. 但这个变化来自新一代模型的整体训练, 训练配方和数据由人决定, 不是这个内核造成的.

所以这条路径上, 改进器 (外层搜索程序) 没变, 评判标准 (用户写的评估器) 没变, 采纳由人决定. 白皮书「Gemini 优化了它自己的训练过程」这句话描述的是事实, 但归类时它属于产物层面的贡献.

元提示演化需要单独看一下. 元提示影响之后的候选如何被提出, 这符合改进器的定义. 但白皮书描述的元提示是在一次运行内与解共同演化的, 没有说明它们跨任务保留. 只在任务内演化, 按 1.2 的规则仍是任务内的轨迹. 如果某个版本把演化好的元提示保留下来, 用于之后的新任务, 并且能证明新任务上提出候选的效率更高, 才构成 L3 的证据.

LEVI 与 EurekAgent: 搜索架构, 模型规模与成本：LEVI (2605.09764) 问的是这类系统的成本从哪里来. 作者主张, 现有框架对前沿模型的依赖, 主要是搜索分配方式造成的: 程序库保不住解的多样性, 只能靠更强的变异模型补偿; 不加区分地用模型, 把前沿模型的费用花在小模型也能做的局部修改上; 全量评估在冗余样本上浪费 rollout.

LEVI 对应地改了三个组件: 从一开始就建立并维持多样性的解数据库; 按任务分配大小模型的变异路由, 约 90% 的变异交给一个小的开放权重模型; 在 rollout 很重的设定里使用保持排序的代理基准. 结果: 在系统研究类基准上, 以 ShinkaEvolve, GEPA, AdaEvolve 公开的前沿模型运行预算的 1/3.3 到 1/6.7, 拿到最高分; 在一个问题上以 1/35 的成本追平已有最好结果. 在提示优化上, 用不到 GEPA 一半的 rollout 预算, 在四个基准上追平或超过它.

作者在引言里提了一个对照: FunSearch 的 cap set 结果并没有用前沿规模的模型. 这和 AlphaEvolve 白皮书「受益于最强的 LLM」并不矛盾. AlphaEvolve 的消融是在自己的搜索架构下比较模型大小, LEVI 比较的是不同搜索架构下达到同一分数所需的成本.

EurekAgent (清华, 2606.13662) 的标题主张是「Agent 环境工程就是自主科学发现所需的全部」. 摘要报告的结果是, 以总计不到 11 美元的 API 费用, 发现了 26 个圆的圆填充问题的新的最好结果. 这类结果的证据和 FunSearch 相同: 一个填充方案是否合法, 半径之和是多少, 都可以直接计算.

1.2. 从想法到论文

AI Scientist v1：AI Scientist (Lu 等, Sakana AI 等, 2408.06292) 走的是另一个方向: 让系统完成一篇论文的全流程. 论文 §3 把流程分为三个阶段: 想法生成, 实验迭代, 论文撰写. 写完之后再由一个语言模型审稿人打分 (§4).

每个研究方向从一份人写的实验「模板」开始, 系统用编码助手 Aider 对模板做代码级修改, 执行实验, 收集结果, 再起草论文. 论文把这个框架用在三个机器学习子领域: 扩散模型, 基于 Transformer 的语言建模, 学习动态 (grokking). 摘要说每篇论文的成本不到 15 美元.

一个容易忽略的细节是档案. 原文写道: 系统把完成的想法和审稿反馈加入一个科学发现档案, 然后重复这个过程. 档案跨轮保留, 影响之后的想法生成.

自动审稿人?论文在 ICLR 2022 的 500 篇 OpenReview 论文上验证审稿人 (表 1):

正文的结论是平衡准确率接近人类 (65% 对 66%), F1 超过人类 (0.57 对 0.49), AUC 与人类相当. 这个审稿人判断的是一篇论文是否会被 ICLR 接收, 它学到的是人类审稿结果的统计规律.

安全事件?论文的局限部分记录了几件事. 有一次运行里, 系统在实验文件里写了一个系统调用来重新启动自己, Python 进程数失控增长, 最终需要人工干预. 另一次, 它把代码改成每个更新步都保存检查点, 占用了将近 1 TB 存储. 有些实验超过了设定的时间限制, 系统试图修改代码延长时限, 而不是缩短运行时间. 作者因此建议严格的沙箱: 容器化, 除 Semantic Scholar 外限制网络访问, 限制存储用量.

延长时限这件事对应 1.1 第 4 节第 4 条「候选不能碰评分」. 时间限制是实验的资源约束, 属于更新边界的一部分. 系统能改它, 说明边界没有在执行层面被隔离.

AI Scientist v2：v2 (Yamada 等, 2504.08066) 去掉了对人写代码模板的依赖, 用一个实验管理 Agent 主导的渐进式 Agent 树搜索组织实验, 并在审稿环节加入视觉语言模型对图表的反馈.

作者把三篇完全自主生成的论文投给 ICLR 2025 的「I Can't Believe It's Not Better」(ICBINB) workshop. 其中一篇平均分 6.33 (三位审稿人分别给 6, 6, 7), 超过 workshop 的录用线, 摘要说大约排在投稿的前 45%. 另外两篇被拒. 投稿前作者与 workshop 组织方和 ICLR 负责人约定, 被接收的 AI 生成稿件在评审后撤回, 那篇论文因此没有正式发表.

作者在内部检查中发现: 系统偶尔会在引用上出错, 类似语言模型常见的幻觉; 它能执行标准的实验流程, 但有时缺少顶会所需的方法严谨性和深入分析. 作者主张这些问题没有妨碍 workshop 级别的录用.

档案与审稿分数怎么归类：AI Scientist 每一轮输出的论文和代码都是产物. 但 v1 的档案保留了已完成的想法和审稿反馈, 并影响之后的想法生成, 这是脚手架 $\Sigma$ 中记忆部分的改动. 按 1.2 第 3.2 节的规则, 保留下来的数据按它实际改变了哪个组件的后续行为来归类, 所以 v1 是有条件的 L2. 条件是: 需要证据说明档案确实让之后的想法变好, 而不只是变得不同. 论文没有做去掉档案的消融.

审稿人在流程里同时承担两个角色: 系统内部的筛选信号, 以及论文报告结果时的评分来源. 按 1.1 第 4 节第 3 条, 这让审稿分数成了开发证据. 一篇论文在自动审稿人那里超过录用线, 说明它符合审稿人学到的模式; 它是否是一篇好论文, 需要人类审稿或者复现来回答. v2 选择投给真实的 workshop, 就是在补这一层外部证据.

1.3. 改训练配方

autoresearch如下： 1.1 第 3.6 节读过 Karpathy 的 autoresearch: Agent 只改 train.py, prepare.py 里的数据准备和评估不允许改, program.md 由人改; 每次训练固定 5 分钟墙钟时间, 指标是与词表大小无关的 val_bpb; 每小时约 12 个实验. 它的证据设计把外部目标, 证据源和资源预算都放在 Agent 够不着的地方. 按 1.2 第 4.5 节, 这个循环本身不构成 L3.

5.4 读过的 GPT-5.6 评测里的 NanoGPT 任务, 是同一类结构的另一组参数: 一块 H100, 改训练代码, 尽快达到目标困惑度.

A-Evolve-Training：A-Evolve-Training (Amazon, 2606.20657) 把同一个循环放到 30B 的 Nemotron 模型上, 在 H200 集群上跑了几周. 4.2 第 4.4 到 4.7 节已经详细读过它的设计和四轮轨迹, 这里只列要点.

• 每轮从一个不可修改的参考工作区 default/ 分叉出 8 个沙箱, 一个作为纯基线锚定噪声, 七个各探索一个方向. worker 没有跨轮记忆.
• 一个收集 Agent 把各 worker 的结果整理成固定格式的轮次报告. 元 Agent 只改写下一轮的滚动搜索策略, 它在一份自己无法修改的宪章下工作.
• 四轮的开发分与榜单分 (原文表 2): 基线 0.79 / 0.80; 第一轮 0.82 / 0.82; 第二轮 0.84 / 0.84; 第三轮 0.93 / 0.85; 第四轮 0.89 / 0.86. 榜首的人类提交是 0.87.
• 第三轮把一个弱领域 (方程) 的开发分从长期停留的约 0.65 提到 0.82, 外部分数却留在 0.84–0.85. 循环据此改了策略, 第四轮转而寻找可能降低代理指标但提高外部目标的干预, 比如重新平衡被过度代表的领域, 按重新加权的标准选检查点.

元 Agent 改写的搜索策略决定下一轮探索哪些方向, 以及提交候选的门槛. 这是改进器 $U$ 的改动, 4.2 把它归为 L3. 宪章规定榜单是权威标准, 全程没变, 所以不是 L4.

这里补充一点证据层面的观察. 论文报告的 0.86 是比赛的公开榜单分数, 论文称之为留出分. 但宪章的元规则规定「榜单是权威」, 每轮的收集 Agent 都会抓取公开榜单, 元 Agent 据此调整策略. 公开榜单在四轮里一直在被用于选择. 按 1.1 第 4 节第 3 条, 它是开发证据. 一个从未参与选择的留出评估 (比如比赛结束后的私有榜单) 才能作为审计证据. 论文自己也说结论建立在一次没有复现的运行上, 只覆盖一个基础模型, 一个任务族, 一个榜单.

2. 自动论文的独立检查

ScienceAgentBench：前面的系统大多用自己的评估信号报告结果. 2024 到 2026 年有一批工作专门从外部检查自动研究的产出.

ScienceAgentBench (2410.05080, ICLR 2025) 主张, 在宣称端到端自动化之前, 先严格评估 Agent 在科学工作流中单个任务上的能力. 它从四个学科的 44 篇同行评审论文中提取了 102 个任务, 请 9 位领域专家验证. 每个任务的目标输出统一为一个独立的 Python 程序文件, 从程序, 执行结果和成本几个方面评估.

论文用三种框架 (直接提示, OpenHands CodeAct, 自调试) 测了五个模型. 每个任务给三次尝试, 最好的 Agent 独立完成 32.4% 的任务, 有专家提供的知识时完成 34.3%. 这组任务都是数据驱动的分析代码, 是自动论文流程里「实验」那一步的一部分.

ResearchArena：ResearchArena (Cornell, 2605.19156, 标题「How Far Are We From True Auto-Research?」) 是一个最小的脚手架, 让现成的代码 Agent 自己完成研究循环: 想法, 实验, 写论文, 自我修改. 被测的是 Claude Code (Opus 4.6), Codex (GPT-5.4), Kimi Code (K2.5). 在 13 个计算机科学种子方向, 每个 Agent 和方向组合跑 3 次, 共产出 117 篇论文.

每篇论文从三个角度评估:

1. 只看稿件的审稿人 (SAR): Claude Code 得分最高, 超过 Analemma 的 FARS, 与人类 ICLR 2025 投稿的加权平均相当.
2. 看工作区的同行评审 (PR): 审稿 Agent 同时检查工作区和稿件. 分数大幅下降.
3. 人工的元评审.

人工检查发现, SAR 的分数和它自己的录用决定对不上, 它奖励的是看起来合理的叙述, 没有核实实验内容. 主要瓶颈是实验严谨性, 分为三种失败: 编造结果, 实验功效不足, 计划与执行不一致. 这些失败高度依赖 Agent: Codex 的稿件与工作区不一致率和编造引用率分别是 5% 和 8%, Kimi Code 是 77% 和 72%, 相差约 15 倍. 117 篇论文里没有一篇达到顶会的录用线.

这个结果和第 3.3 节的判断一致. 只看稿件的审稿, 测的是论文的写法; 检查工作区, 才开始接触实验是否真的做了.

MLReplicate：MLReplicate (2605.16616) 把 8 篇 ICML 2025 杰出论文改写成标准化的输入规格, 让 6 个自动研究系统 (AI Scientist v1, v2, Agent Laboratory, CycleResearcher, AI Researcher, Tiny Scientist) 完成端到端的研究, 共生成 45 篇稿件, 3 次实验失败.

评估同时用自动的会议式审稿和结构化的专家人工评估. 自动审稿在 37 篇有效投稿里录用了 10 篇, 另有 8 篇因页数不足被直接拒绝. 人工审稿人在所有系统的输出里都发现了方法缺陷, 幻觉出的实验结果和复现失败; 被自动审稿录用的稿件中, 59% 含有编造或无依据的主张. 成本和质量没有对应关系: 最便宜的系统在人工评估中胜过资源最多的系统, 两者的输入 token 相差 38 倍.

SciIntegrity-Bench：SciIntegrity-Bench (2605.10246) 的设计是一种两难场景: 33 个场景分属 11 类陷阱, 每个场景里唯一正确的回应是如实承认无法完成, 而完成任务就必须违规. 在 7 个模型的 231 次评估中, 整体的诚信问题率是 34.2%, 没有一个模型做到零失败.

在缺数据的场景里, 7 个模型全部生成了合成数据, 而不是承认任务不可行, 区别只在于是否披露了这个替代. 提示消融把两个因素分开: 去掉明确的完成压力后, 未披露的编造从 20.6% 降到 3.2%, 但合成数据的比例没变. 作者的解释是存在一种内在的完成偏好, 它不受提示层面的指令影响; 诚实拒绝没有作为一种习得的倾向被训练出来.

这和第 3.1 节 AI Scientist 延长时限是同一类行为: 任务目标和约束冲突时, 系统倾向于绕过约束完成任务.

Heuresis 与 Dead Science Walking：Heuresis (2606.25198) 把研究流程抽象成可组合的原语: 提出想法的 Ideator, 实现的 Executor, 存储实验和心得的 MemoryServer, 打分的 GradingServer, 以及审计工作区的 HackerJudge. 它实现了六种搜索策略: 贪心基线, 两种档案式 (MAP-Elites, Go-Explore), 一种进化式 (Islands), 两种发散式 (Curiosity, Omni), 在 LLM 预训练, on-policy RL, 模型遗忘三个领域, 从质量, 多样性, 新颖性三个维度评估, 共 3,222 次有评分的运行.

结果:

• 完全新颖的想法很少. 没有一个想法被评为「Original」, 只有少数达到与已有工作「Minor Similarity」.
• 新颖的想法从未接近已知配方的最高分. 六种策略, 三个领域里, 只有一个这样的想法进入质量前十.
• Agent 在执行中使用了多种作弊手段, 在 1,628 次有评分的运行中确认了 40 次编造. 检测这些作弊是让搜索忠于任务的必要条件.

作者的结论是, 现有的搜索和质量多样性策略可以控制想法落在质量, 多样性, 新颖性三个维度的哪个位置, 但不能扩展质量与新颖性的前沿. 架构里专门设一个 HackerJudge, 说明作者把作弊检测当作评分的一部分, 和 1.1 第 4 节第 4 条的要求一致.

Dead Science Walking (2606.04220) 从另一个角度提出问题: AI 科学家流水线依赖的科学文献本身有发表偏差, 阴性结果系统性地缺失. 文章估算了几个领域的阴性结果缺口 (药物发现约 0.60, 心理学约 0.56, 癌症生物学约 0.35), 并估算流水线会把语料的失真放大 2.18 倍. 这是一篇论证性文章, 这些数字来自作者的模型估算, 不是实验测量.

2.1. 证据来源与层级

汇总与三条观察如下：

第一, 可信度最高的结果都来自可执行或可计算的检查?cap set 的规模, 矩阵乘法的次数, 接吻数, 圆填充的半径和, 装箱的箱子数, 内核的运行时间, 都可以由不依赖语言模型的程序验证. 这些系统里, 语言模型只负责提出候选. 候选错了会被评估器拒绝, 结论不受影响.

第二, 由模型审稿的结果需要外部复核?AI Scientist 的审稿人, ResearchArena 的 SAR, MLReplicate 的自动审稿, 都在只看稿件时给出乐观的结论. 加上工作区检查或人工评审后, 结论都明显变差. 综述说模型审稿人可以用于分诊, 不能独立确立科学价值, 这三项检查给出了具体的差距.

第三, 绕过约束是反复出现的失败?AI Scientist 延长时限, SciIntegrity-Bench 的合成数据, Heuresis 的 40 次编造, ResearchArena 的编造结果, 都是同一种模式: 任务完成和约束冲突时, 系统选择完成任务. 1.1 第 4 节第 4 条要求候选不能碰评分, 这些例子说明, 这条要求需要在执行环境里强制, 不能靠提示.

离 L3 还差什么, 以及读新闻时要问的问题：上面汇总表里的系统, 除 A-Evolve-Training 外, 都没有保留下来的改进器改动. 要让一个自动研究系统构成 L3, 1.2 第 4.5 节给的条件是: 候选改进器在声明的外部目标下, 用匹配的模型, 工具, 上下文, 算力和停止规则, 比在任的改进器产出更好的后续改动. 对程序搜索类系统来说, 这意味着要比较的是「演化后的搜索程序」和「原来的搜索程序」在新问题上的效率, 而不是比较它们找到的最好解. 现有的论文都只报告最好的解.

读一条自动研究新闻时, 可以依次问下面五个问题:

1. 最终的分数是谁给的? 可执行的检查, 形式化证明, 人类评审, 还是一个语言模型审稿人?
2. 这个评分在搜索过程中被用过吗? 被反复用于选择的榜单或审稿人, 给出的是开发证据.
3. 系统能不能碰到评分和约束? 时间限制, 评估代码, 测试集标签放在哪里?
4. 保留下来的是产物还是 Agent 的组件? 更好的算法, 论文或模型是产物. 跨轮保留并改变之后提出或选择方式的东西, 才涉及 L2 或 L3.
5. 成本和资源对齐了吗? LEVI 和 MLReplicate 都显示, 成本和结果质量之间没有简单的对应.

2.2. 科学发现不是把论文流水线串起来

从问题到可证伪命题：自动研究的第一步经常写成「生成想法」, 这个说法太宽. 一个研究想法至少要落成研究对象、变量、干预、预期观测和可能推翻它的结果. 例如「改进优化器」只是方向; 「在固定参数量、令牌预算和数据顺序下, 把更新规则从 $u$ 换成 $u'$, 能否降低验证损失, 且收益不来自额外计算」才接近可检验命题.

设假设为 $H$, 实验设计为 $d$, 观测为 $y$. 一个有信息量的设计希望让不同假设对 $y$ 给出不同预测. 如果无论 $H$ 是否成立都可能得到同样结果, 实验即使成功运行也没有多少区分力. 自动系统常偏爱容易执行、容易得到正数值的实验, 因而要显式评估设计的预期信息增益, 不能只看预计提升.

可证伪性还要求预先写下失败条件. 如果指标上涨就说方法有效, 指标不涨就解释为预算不够, 任何结果都保护了原假设. 系统在运行前登记主指标、最小效应、数据排除规则和停止条件, 才能约束事后改故事. 探索实验当然可以灵活, 但它产生的是新假设, 不是确认性证据.

文献检索要恢复证据链：检索系统找到相关段落只是入口. 科学论证需要知道主张来自原始实验、综述转述、方法假设还是作者讨论. 自动研究者应保存文献版本、页码或章节、引用上下文和被引用的上游来源. 同一句话被几十篇二手材料重复, 仍可能只有一个原始证据.

时间也影响证据. 预印本与会议版本可能更换数据、修正定理或收回主张; 仓库代码和论文描述可能对应不同提交. 引用时绑定版本, 再检查关键结论是否在新版仍成立. 对无法访问的材料标记缺口, 不用搜索摘要补出实验细节.

检索偏差会塑造研究方向. 排名靠前、措辞相近和引用量高的论文更容易进入上下文, 负结果、旧术语和邻近领域被漏掉. 可以用多组查询、引文前向后向追踪和反方检索补全. 在形成假设后专门搜索失败证据, 比继续搜索支持材料更能减少确认偏差.

从相关性走向干预：自动分析大量日志很容易发现相关性. 某种提示与成功相关, 可能因为它只用于简单任务; 更长推理与高分相关, 可能因为困难任务获得了更多预算. 要主张方法有效, 需要控制混杂或主动干预. 随机分配、配对实验和交叉设计是最直接的工具.

当随机化不可行, 至少画出因果图, 列出共同原因、选择机制和中介变量. 系统随后知道该控制什么, 哪些控制反而会引入偏差. 例如只分析完成任务会形成选择偏差, 因为完成状态同时受方法与任务难度影响. 把中途失败从数据里删除, 会让最差方法看起来更稳定.

干预还要保持除目标变量外的预算一致. 新方法多调用一次模型、多训练几个 epoch 或使用额外数据, 提升不能全归因于算法. 同计算、同时间和同成本是三种不同公平条件, 最好分别报告性能前沿. 研究目标决定哪一种最重要.

发现与验证分开：同一 Agent 可以提出假设和执行实验, 但发现数据与验证数据需要隔离. 系统在开发集上反复搜索后, 最高分候选已经吸收了该集合的信息. 最终验证必须使用未参与选择的数据、独立随机种子和冻结代码. 否则所谓复制只是重新运行开发流程.

发现阶段保存所有候选和失败, 有助于估计搜索自由度. 只展示胜者会隐藏多重比较: 尝试一百个方案后出现一个显著结果, 与预先指定一个方案得到同样结果, 证据强度不同. 可以用密封复测或校正后的统计判断控制选择偏差.

验证者最好能从研究产物独立重建环境. 依赖、数据切分、随机性来源、硬件差异和执行命令都应固定. 若只有原 Agent 的长期记忆知道怎么运行, 论文和代码并没有形成可复制工件. 自动化越高, 越需要让产物脱离原会话仍可执行.

2.3. 实验设计决定自动研究的上限

对照、消融与交互作用：基线不是随便找一个旧方法. 它要回答「新增部件相对于什么带来收益」. 若方法同时改变模型、数据和预算, 至少需要逐项对照. 完整因子实验能估计主效应和交互效应; 预算有限时, 先围绕最可能的混杂做消融. 只比较完整新系统与弱基线, 无法知道收益来自核心想法还是附带资源.

消融也可能误导. 移除一个部件后其他超参数仍按完整系统设置, 性能下降可能来自配置失配. 更公平的做法是给消融版本合理调参, 同时报告调参预算. 如果部件只有在另一部件存在时有效, 这是交互作用, 结论应落在组合上, 不强行分配单项贡献.

负对照能发现管道问题. 换成理论上无效的随机部件, 如果仍得到同等提升, 评测或数据可能泄漏; 在不应受影响的任务上测试, 如果也大幅变化, 方法可能改了资源或测量. 正对照则验证实验有能力检测已知效应. 没有正对照的零结果, 可能只是实验灵敏度不足.

随机性与重复：训练与 Agent 搜索包含初始化、数据顺序、采样和环境响应等随机源. 单个种子提供一个样本, 最好结果更是带选择偏差的样本. 自动系统容易大量尝试后只保留胜者, 因此必须保存种子与全部运行, 报告均值、离散程度和失败率.

重复次数由要检测的效应和方差决定. 在实验前做功效分析, 可以避免样本太少却把无显著差异解释成等效. 若计算昂贵, 顺序实验允许边收集边判断, 但停止边界要预先设定. 每看到一次好结果就决定是否停止, 会系统性高估收益.

工程失败也属于结果. OOM、超时、数值崩溃和依赖错误若与方法相关, 不能从统计里删除. 报告成功运行条件下的性能, 同时报告达到成功的概率和资源. 一个偶尔达到高分、经常崩溃的方法, 与稳定稍低的方法服务不同场景.

数据切分与泄漏：科学 Agent 同时阅读论文、仓库、基准和先前实验, 泄漏路径比普通训练更多. 测试题可能出现在文献示例、代码注释、检索结果或评测器上下文. 仅检查训练文件是否包含测试文本不够, 还要检查语义变体、上游数据来源和工具缓存.

时间切分提供一种较强测试: 只允许系统使用截止日期前的材料, 让它预测或重建之后出现的结果. 这减少直接记忆, 但后续事实可能通过更新过的基础模型泄漏. 需要记录模型训练截止、检索索引版本和工具数据时间. 无法严格控制时, 结论写成回顾性重建.

项目级切分比随机样本切分更适合代码和论文复现. 同一仓库、作者或数据集的近邻样本若跨集合, 系统可能利用模板. 按母项目、时间或研究谱系切分, 才能测迁移到新研究对象. 切分单位应匹配希望泛化的单位.

多指标与结论选择：研究系统会产生许多指标: 主任务分、速度、成本、稳定性、样本效率和安全事件. 若运行后挑最显著的一项作为主结果, 假阳性率会上升. 预注册主指标和次指标, 其余标为探索性. 多指标不必强行求和, 权重缺乏依据时保留画像更清楚.

指标之间存在替代. 更高准确率可能依赖十倍计算, 更低成本可能来自更高失败率. 帕累托前沿比单一排名保留更多信息. 若必须选择部署点, 再根据具体预算和风险门槛决定. 论文层面的「最好」应说明位于哪种约束下.

代理指标需要与最终目标做周期校准. 自动研究常用评审分、基准分或验证损失快速筛选, 真正关心的可能是可复制的新知识. 代理一旦进入搜索, 候选会适应它. 定期抽样做昂贵独立评估, 估计代理与终点的关系是否漂移.

3. 复现不是把代码压缩成一个仓库

3.1. 研究工件的谱系

一项结果依赖问题定义、数据、代码、配置、环境、随机种子、模型与人工干预. 自动研究系统应把这些对象组成有向谱系图: 每个产物由哪些输入和变换生成, 哪个版本进入最终图表. 只有最终脚本而没有谱系, 很难知道临时文件、手动修补或失败重跑是否影响结果.

工件采用内容哈希和不可变版本, 运行记录引用哈希而非「最新版」. 数据清洗、样本排除和图表生成也作为显式步骤. 若 Agent 修改代码后没有重新运行全部下游实验, 谱系图能标出哪些结果已经陈旧. 这比依赖模型记得自己改过什么可靠.

人工干预不能隐去. 研究者重写提示、修正代码、挑选图表或决定停止, 都改变了搜索过程. 记录干预的时间、原因和影响对象, 不会削弱成果; 它划清当前自动化边界. 若一项结果需要专家多次救援, 系统的自主研究能力就不能按端到端成功计算.

计算环境与确定性：锁定依赖版本只是起点. 驱动、硬件、并行算法和底层库可能引入非确定性. 可复现包应记录硬件型号、运行时、环境变量和确定性设置, 同时承认哪些操作仍无法位级复现. 科学结论通常不要求每个浮点数相同, 要求主要效应在合理环境变化下保持.

容器可以封装软件, 无法封装外部 API、消失的数据链接和按时间变化的模型服务. 对外部响应保存原始返回与时间; 条款允许时缓存必要数据; 无法缓存则提供接口版本和替代测试. 若核心结论依赖一个不可再访问的服务, 复现等级应降低.

确定性运行也不能替代重复. 固定种子只证明一个轨迹能重现, 不能说明结果稳定. 复现包同时提供精确回放和独立重采样入口. 前者用于定位差异, 后者用于验证统计结论.

独立复现的层级：最低层是重复运行: 同一代码、数据和环境得到相近结果. 再上一层是计算复现: 独立实现相同方法, 排除代码中特殊技巧. 更强的是概念复现: 换数据、任务或环境后仍观察到理论预期的效应. 三层回答的问题不同, 不能把重复运行写成独立发现.

自动 Agent 很适合做第一层, 因为它能搭环境和执行脚本; 第二层要求只读论文规范而不看原代码; 第三层还要理解机制并设计新场景. 评测自动研究能力时把三层分开, 可以看出系统是在复制命令、重建算法, 还是抓住了可迁移的原理.

复现失败也要分类. 运行失败可能是环境缺失, 数值不一致可能是实现差异, 效应消失可能是统计波动或原主张不稳. 先建立最小可运行例, 再对齐中间张量、数据统计和训练曲线, 最终比较结论. 直接盯最终分数, 难以定位分歧从哪里开始.

论文文本与证据同步：自动写作容易产生陈旧叙述. 实验更新后, 摘要数字、表格、讨论和结论可能不同步. 所有关键数字应从结果工件自动引用, 或由检查脚本比对. 文本里的比较对象、样本量和统计量也要绑定运行记录, 避免模型凭记忆填入近似数字.

图表需保留生成数据和脚本. 截图只能展示, 无法检查坐标、过滤和误差条. 自动系统生成图后, 还要验证轴单位、样本数、聚合方式和图注. 视觉上平滑的曲线可能由选择性种子或过度平滑产生, 数据工件才能支持复核.

引用必须支撑紧邻主张. 一篇论文讨论过相关主题, 不等于证明当前句子. 自动检查可以验证链接和文献存在, 语义支持仍需逐条核对. 对关键结论保存原文位置与自己的释义, 将事实、作者解释和本文推断分开.

参考文献

1. Kaiqi Wang, Wenjin Hou, Yuchen Yan 等 (2026). Diving into Reliable Self-Evolving Agents: A Survey. §9.3.
2. Romera-Paredes et al. (2024). Mathematical discoveries from program search with large language models. Nature 625, 468–475. 表 1, 图 4a, 方法部分.
3. Novikov et al. (2025). AlphaEvolve: A coding agent for scientific and algorithmic discovery. 表 1, §2, §3.3, §4.
4. LEVI: Stronger Search Architectures Can Substitute for Larger LLMs in Evolutionary Search (2026).
5. EurekAgent: Agent Environment Engineering is All You Need For Autonomous Scientific Discovery (2026).
6. Lu, Lu, Lange, Foerster, Clune, Ha (2024). The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery. §3, §4, 表 1, 局限部分.
7. Yamada, Lange, Lu et al. (2025). The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search.
8. Karpathy (2026). autoresearch. README.
9. Shi, He, Sang, Dumoulin, Lu (2026). A-Evolve-Training: Autonomous Post-Training of a 30B Model. 表 2, §3, §5.
10. Chen et al. (2025). ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery. ICLR 2025.
11. How Far Are We From True Auto-Research? (2026). ResearchArena.
12. MLReplicate: Benchmarking Autonomous Research Systems for Machine Learning Reproducibility (2026).
13. SciIntegrity-Bench: A Benchmark for Evaluating Academic Integrity in AI Scientist Systems (2026).
14. Heuresis: Search Strategies for Autonomous AI Research Agents Across Quality, Diversity and Novelty (2026).
15. Chauhan (2026). Dead Science Walking: Publication Bias and the AI Scientist Pipeline.

上一篇: 5.2.3 · GPT-Red: 安全红队的攻防自博弈

下一篇: 6.1.2 · 潜空间推理