自动研究走进真实研发环境后，问题会从「能否找到一个高分候选」变成「候选能否在复杂系统里安全晋升」。代码库有不断变化的依赖，训练实验消耗算力，线上搜索面对真实用户，许多指标要几天甚至几周才显现。此时算法仍然重要，但真正决定闭环能否运行的是证据怎样逐级变硬。
这条路线选择两个互补场景。AI 参与 AI 开发关注研究和工程团队怎样把模型放进代码、实验与评审流程；PEAR 关注工业搜索系统怎样从候选策略、影子流量走到线上 A/B。前者展示自动化覆盖范围，后者提供一套清楚的晋升门槛。两者都说明大规模自动实验不等于开放式 RSI，层级仍由被持久修改的对象决定。
1. 真实研发闭环多了哪些约束
明确输入、输出和短反馈足以支撑受控实验。代码库会引入模块间依赖，训练优化会改变数值路径，线上搜索还会影响不同用户群。评价因此由一组带优先级的约束构成：
其中 是主目标， 是正确性、安全或关键子群指标， 是算力、延迟和工程成本。只优化主目标会把代价推到约束之外；把所有指标线性相加，又可能让大量小收益抵消一次严重回归。
研发系统还要处理异步反馈。代码测试几分钟返回，训练实验要数小时，线上长期指标更慢。若调度器只追逐快速信号，研究方向会偏向容易验证的局部优化。合理的状态应记录候选处在哪个证据阶段、哪些结果尚未返回，以及哪些资源已经被占用，而不是把未完成实验当成失败或忽略。
2. AI 参与 AI 开发怎样取证
模型在团队内部写了多少代码，是自动化程度的指标，不是改进深度的指标。它可能完成明确任务、修复测试、分析实验，也可能参与设计新训练方法。判断系统能力要看任务分布、人工介入点、失败如何被处理，以及产出是否经过独立验证。
端到端自动研究实验通常包含读取代码、提出改动、运行实验、解释指标和生成下一轮方案。每个环节都可以由模型完成，但外部仍可能固定问题、预算、测试和最终选择。这样的系统即使高度自主，也可能属于 L2：它改变的是项目或训练配置，负责寻找改动的改进器没有学习。若系统从历史实验中持续更新提案和资源分配策略，才向 L3 靠近。
内部使用数据还有一个常见偏差：容易公开的往往是成功案例，日常失败、人工返工和被放弃任务不完整。评价自动研发不能只看最终展示的补丁数量，要统计任务进入系统后的完整漏斗：尝试数、可运行数、通过局部测试数、通过全量测试数、被人接受数、上线后保留数。每一层的损失对应不同瓶颈。
3. 工业系统用渐进证据控制风险
PEAR 一类工业自动研究系统使用逐级加重的证据：离线回放排除明显无效策略，影子流量观察行为，小流量实验测量用户结果，通过后再扩大部署。证据越接近真实目标，反馈越慢，成本和风险也越高。
这种阶梯可以写成一系列门控 。候选只有在第 级满足置信条件才进入 级。关键不只是单次实验显著，而是整轮搜索尝试了多少候选。若一百个候选各以 5% 错误率独立晋升，至少一个假阳性的概率会很高。控制整轮错误率、使用置信序列或在最终阶段重新锁定假设，都是为了处理搜索本身造成的多重比较。
线上 A/B 还适合配对观察子群。总体指标为正，可能掩盖长尾查询、特定语言或高价值用户上的退化。晋升规则应包含关键子群底线和护栏指标，回滚触发也要事先定义。候选进入生产以后继续监控，是因为用户和数据分布会变化，离线与短期实验无法覆盖全部后果。
4. 从自动化规模回到 RSI 层级
自动研发系统可以并行运行成百上千个实验，递归深度仍要按状态判断。固定流程改项目代码或模型配置，属于 L0–L2；流程根据历史学会更好的提案、实验排序和停止策略，进入 L3；连主目标、护栏和晋升规则也能被更新，则触及 L4。
规模扩大主要提高搜索覆盖，也同时放大选择偏差和验证成本。更多候选会找到更好的方案，也更容易找到测试漏洞。因而系统越能自动生成实验，越需要独立控制面：不可由候选修改的测试、预算、日志、权限和回滚。控制面保持稳定，实验面才有足够自由探索。
预算调度决定系统实际研究什么。若所有候选按单次预测收益排序，短平快的优化会长期挤压需要多阶段验证的方向；若平均分配预算，大量明显无效的候选又会浪费昂贵实验。可以先用便宜代理淘汰，再为不确定但潜在收益高的候选保留探索配额，并把长周期项目的中间里程碑显式建模。调度器的评价应包含最终有效改动数、找到改动所需成本和覆盖的问题类型，不能只看完成实验数量。
真实研发还有队列和资源竞争。两个候选各自在空闲集群上都有效，同时运行时却可能争抢网络、存储或测试环境。实验结果必须带上资源条件，晋升前在目标部署条件下复测。对于训练优化，吞吐提高同时要检查数值一致性、收敛曲线和故障恢复；对于线上策略，平均收益之外还要检查尾延迟和子群回归。
人在闭环中的位置也应被记录。人可以给问题、修复实验环境、否决候选或解释模糊结果，这些介入并不会让系统失去研究价值，却会影响自主性主张。把每次介入按信息类型分类，比简单报告「人工小时数」更有用：是提供系统原本没有的事实，还是执行权限操作，还是替评判器解决无法判断的取舍。只有前两者逐渐减少且结果保持稳定，才说明自动化覆盖真正扩大。
Anthropic: AI 参与 AI 开发的内部证据 从团队材料和端到端实验拆解自动化究竟覆盖了哪些研发环节。PEAR: 工业搜索里的渐进证据自动研究 展开影子流量、线上 A/B、置信门控和整轮错误控制。前者呈现系统已覆盖的工作，后者回答这些改动怎样一步步获得部署资格。