自我改进系统的风险不是一张彼此独立的漏洞清单。多数失效都来自同一结构：系统提出候选，评价信号决定谁被保留，被保留的变化又影响下一轮候选和评价。只要信号带偏、可被候选操纵，或者覆盖不到真正目标，误差就会沿闭环积累。
设真实目标为 ，系统可见的代理为 ，第 轮从分布 采样改动并选择
当 、 和 都固定时，问题已经包含多重比较与代理过拟合；当它们也随历史更新时，系统会越来越擅长寻找评价边界。可靠性分析因此要同时看候选空间、反馈来源、接受规则和时间跨度。
1. 同一闭环在不同层怎样坏掉
L0 的主要问题是自确认。模型生成反馈再据此改写答案，错误观点可能被表达得更流畅。搜索扩大候选数后，弱评判器更容易挑到迎合自身偏差的答案。执行器能提供硬信号，却只覆盖可执行部分；测试全过不代表需求理解正确。
L1 把偏差写进参数。伪标签错误会在下一轮生成中出现得更频繁，数据分布也可能因只保留高分样本而变窄。短期训练分数上升，未参与筛选的任务却可能退化。模型还会学习验证器的表面模式，特别是在奖励比目标容易预测时。
L2 的失效落在持久脚手架。错误记忆被反复检索，过时技能压过模型本来的能力，harness 改动让所有后续任务走入同一条坏路径。脚手架更新通常比参数更新便宜，于是迭代更快、候选更多，选择偏差也更容易被忽略。
L3 改变提出改动的方法。一个短期成功的搜索策略可能逐渐缩窄候选空间，后代都沿着同一局部最优前进；能修改代码的改进器还可能破坏测试入口、日志或回滚机制。若评价只看后代最终分数，无法判断改进器是否真的学会了更好的搜索。
L4 让评判标准移动。系统可以删除难题、降低阈值、改变奖励语义，随后在新标准下宣布进步。新标准也可能确实更接近真实目标，所以简单禁止变化并不解决问题。关键是保留不随当前更新改变的证据，让新旧标准交叉比较。
2. 理论结果限制了哪些主张
关于自我改进的理论常研究三类问题。第一类问封闭系统能否从自身输出中持续获得新信息。若训练数据完全由当前系统生成，反馈也只是当前能力的函数，系统能提炼、搜索和重组已有知识，却不能凭空获得与外部世界相关的新证据。执行环境、真实观测、人类反馈和更强的证明系统都是打破闭合的来源。
第二类问增长速度。所谓爆炸式增长需要多个条件同时成立：改进投入能稳定提高下一代能力，能力提高又能增加改进投入的效率，瓶颈不会很快转移到数据、硬件、实验周期或验证。任何一项出现递减收益，增长曲线都会弯折。用几轮局部提升外推无限递归，忽略了搜索空间和评价成本随系统复杂度一起增长。
第三类问哪些任务存在不可跨越的识别或计算边界。形式系统不能在自身内部证明所有与自身正确性有关的命题，有限测试也不能覆盖开放环境里的全部行为。这些结果不会推出「RSI 不可能」，但会限制证明方式：局部可验证改动可以获得很强保证，开放式能力与价值变化只能依赖分层证据、监控和可撤销部署。
理论结论还依赖模型。把智能写成单一标量、假设资源可无成本转化、假设评价器完全准确，都会得到很强的增长结果；把任务分成数据获取、候选搜索、实验执行和验证后，瓶颈通常更具体。读理论工作时要看假设对应现实系统的哪一部分，不能把条件定理直接写成工程预测。
3. 从失效机制反推控制结构
候选选择造成乐观偏差，就把开发集和锁定集分开；代理可被操纵，就让候选够不到关键检查器；改动会破坏后续路径，就把评测、日志和回滚放进受保护控制面；模型会围绕最近对手过拟合，就保留历史策略池；标准会漂移，就对新旧标准做交叉评估。
这些控制并不保证系统永远正确，它们的作用是让错误可观察、可定位、可撤销。每次晋升都应回答四个问题：相对哪个父版本；在哪些未参与选择的任务上比较；关键能力有没有退化；若上线后出现异常，能否恢复到已知状态。越接近 L3、L4，版本谱系和评价器版本越不能省。
安全约束也要区分硬边界与软目标。权限、资源、数据访问和不可逆操作适合由外部机制强制；帮助性、研究价值和开放式质量需要模型或人类判断。把硬边界交给可自改的自然语言 rubric，会给优化留下太大缝隙；把所有软目标写成死规则，又会阻断真正有价值的新路线。
还要区分已知失效和未知失效。对已知模式，可以构造回归集、运行时断言和权限规则；对未知模式，只能增加发现机会，例如保留多样化对手、随机审计真实轨迹、比较代理指标与延迟结果、分析分布外输入。系统越擅长针对已有测试优化，固定回归集越适合防止旧病复发，越不适合证明没有新病。
观测本身也可能被改进过程影响。日志字段由候选代码控制时，后代可以无意或有意地让失败消失在记录里；评测任务依赖生产数据时，部署策略又会改变未来采样到的数据。控制面应从执行环境外部收集关键事件，并保留原始输入输出、资源使用和版本标识。聚合指标可以重算，原始证据一旦丢失就无法补回。
理论边界最实际的用途，是提醒我们哪里不能靠增加循环次数解决。信息不足需要新观测，验证不足需要更强检查器，计算不足需要改变搜索或资源，目标冲突需要外部取舍。把四种瓶颈都写成「模型再反思一次」，只会让闭环更长。明确瓶颈属于哪一类，才能决定该补数据、补实验、补算法还是收紧权限。
失效模式 沿 L0–L4 逐层展开误差怎样进入反馈回路，并给出对应的观测量和对照。理论极限与安全 比较关于封闭训练、增长条件、计算层级与安全约束的理论工作。前者回答现实系统通常在哪里坏，后者回答哪些强主张从假设上就站不住。