Browse this library

Chinese source article

6.1 · 自动研究机制

从可执行程序搜索到科学假设循环,再看潜空间推理怎样改变候选生成,而不是把长思考直接当成 RSI。

View original Markdown ↗

自动研究把模型从回答问题推向提出假设、设计实验、读取结果和继续修改方案。它与 RSI 有明显交集,因为研究对象可以是模型训练、推理算法或研究 Agent 自身;两者仍不能画等号。一个固定 Agent 自动跑完一百个实验,可能只是把搜索规模放大到 L0。只有实验结果进入可保留状态,并改变模型、脚手架、改进器或评判标准,才分别进入 L1–L4。

自动研究的最小闭环包含问题状态 zkz_k、候选生成器 GG、实验执行器 XX 和结果解释器 RR:

hk∼G(zk),ek=X(hk),zk+1=R(zk,hk,ek).h_k\sim G(z_k),\qquad e_k=X(h_k),\qquad z_{k+1}=R(z_k,h_k,e_k).

这里的 zkz_k 可以只存在当前任务上下文,也可以被保存为跨轮研究记忆;GG 可以固定,也可以根据历史成功模式学习;实验评价可以是可执行结果,也可以依赖开放式判断。系统属于哪一层,取决于这些部件中谁被持久更新。

1. baseline 是搜索,不是科学家的称号

最朴素的自动研究是有限候选空间里的程序搜索。系统提出代码改动,编译并运行测试,根据得分保留更好的版本。这个闭环的优点是结果可执行,缺点是目标通常很窄。若测试只覆盖速度,候选可能牺牲正确性;若只覆盖公开任务,搜索会围绕测试集特化。

进入科学发现后,候选不再只是代码差分,还包括假设、实验设计、数据解释和后续问题。每一步的错误会影响下一步:错误假设浪费实验,错误读数把搜索带偏,不充分对照把偶然性写成机制。一个长报告生成得像论文,不能证明研究循环有效;更强的证据是系统能在受控条件下提出可证伪假设,设计能区分竞争解释的实验,并根据反例改变后续候选。

研究系统常用多 Agent 分工:一个提案,一个审稿,一个执行,一个整合。角色数量不决定深度,关键仍是信息是否独立。审稿者若只看到提案者的摘要,可能重复其假设;执行器若允许提案者改测试,就容易出现评价泄漏。把原始观测、分析记录和最终结论分开保存,可以让后续复核定位错误落在哪一步。

2. 潜空间推理改变候选怎样展开

传统链式思维用离散 token 表达每一步,优点是可读、可编辑,代价是表达受语言和序列长度约束。潜空间推理把中间状态保留为连续表示,再将其送回模型继续计算。Coconut 等工作探索的重点,是连续状态能否承载多条候选方向,让模型在显式输出答案前完成更灵活的搜索。

它与自动研究的联系在候选生成,而不在层级。潜空间状态可以让固定系统更有效地搜索当前问题,仍属于 L0;若由这些轨迹训练参数,则进入 L1;只有系统学会改变产生研究候选的机制,才可能触及 L3。把「内部迭代」直接叫递归,会再次混淆任务内计算与跨任务改进。

潜空间路线的证据也更难解释。自然语言轨迹可以检查逻辑步骤,连续表示不能直接读出分支。研究者通常通过性能、消融、表示探针和计算预算曲线间接判断机制。性能上升只能证明方法有效,不能单独证明表示中真的形成了树。若声称叠加或并行探索,需要设计能区分它与普通额外计算的实验。

外部条件会影响这条路线是否划算。基础模型弱时,连续状态可能积累不可解释误差;训练稳定性、隐藏状态接口和推理框架也会限制部署。长上下文和更强显式推理降低了改表示的必要性,推理预算变贵又会重新推动压缩中间计算。路线冷热变化反映的是底座、成本和可观测性的共同变化。

3. 自动研究怎样形成可信知识

探索阶段可以快速生成大量假设、复用历史经验、采用便宜代理指标;确认阶段冻结假设和分析方案,在新数据或独立运行上复测。若系统在看到结果后不断改问题、改指标、改过滤条件,留下的最佳实验会继承整条搜索过程的选择偏差。

实验日志应记录代码版本、数据切分、随机种子、运行环境、失败任务和未被选中的候选。只保留成功实验会让后代系统学到错误的因果关系,也让人无法估计搜索成本。自动研究的价值不只在最终最好分数,还在能否积累可复用的失败边界:什么条件下路线无效,哪些指标互相冲突,哪类候选值得更早淘汰。

当研究对象是系统自己时,控制面需要与实验面隔离。候选可以修改训练配置和研究代码,但不能随意修改锁定测试、预算计量和版本记录。真正有价值的递归来自改进器在这些固定边界内学会更好地提案,而不是通过重写验收规则获得更高分。

实验选择还可以从预期信息增益理解。若两个假设都能解释已有结果,下一个实验应优先选择让它们产生不同预测的条件,而不是重复最容易获得正结果的设置。设假设为 HH、实验结果为 YeY_e,理想实验提高 I(H;Ye)I(H;Y_e)。现实系统无法精确计算这个量,可以用模型分歧、预测方差或能否排除关键机制作为代理。这样的目标会把研究 Agent 从「寻找最高分配置」推向「设计能区分解释的实验」。

代理仍可能误导。模型分歧大,可能只是提示不稳定;预测方差高,可能来自测量噪声;一个实验排除了某个机制,也可能对主目标没有帮助。因此实验排序要同时看信息价值、执行成本、风险和后续可行动性。便宜诊断适合先做,昂贵实验留给已经收窄的假设空间,不可逆或高风险实验还要经过外部批准。

研究记忆的组织也会改变候选分布。只存成功结论,系统会不断重试已经失败的路线;只存最终摘要,后代无法知道结论依赖哪些条件。较有用的记录把假设、预测、实验配置、原始结果、解释和剩余疑问连接起来。下一轮检索到的不只是「答案」,而是哪些证据支持或反驳了哪种解释。

自动研究与科学发现 比较程序搜索、论文式研究 Agent 和训练配方改进,逐项检查它们改了哪部分状态。潜空间推理 讨论 Coconut 与相关表示如何改变候选搜索,并给出机制主张需要的消融。两篇放在一起,是为了分开研究循环的外部结构与模型内部的候选表示。