2.1 · 任务内与单模型改进

模型第一次回答不够好，最朴素的办法是让它再想一次。可以要求它批评上一版，可以多采样几条轨迹后投票，也可以运行代码、查资料或调用证明器，把外部结果送回上下文。这些方法都能显著提高当前任务的成功率，却没有改变跨任务保留的系统状态，因而属于 L0。再往前一步，把成功轨迹整理成训练数据并更新参数，改进才从当前上下文进入 L1。

两层之间真正的分界不在有没有循环，而在更新结束后留下了什么。设任务为 $x$ ，模型参数为 $\theta$ ，一次任务内搜索产生轨迹集合 $\mathcal T(x;\theta)$ ，验证器给出 $v(\tau,x)$ 。L0 在同一任务里选择

\tau^*=\arg\max_{\tau\in\mathcal T(x;\theta)}v(\tau,x),

返回 $\tau^*$ 后仍保留原来的 $\theta$ 。L1 则收集一批被接受的轨迹 $D^+$ ，执行

\theta' = \operatorname{Train}(\theta,D^+),

随后用 $\theta'$ 处理未参与筛选的新任务。一个系统可以在训练每条样本时使用很深的树搜索，只要搜索器和参数都没被持久更新，那一轮仍是 L0；反过来，一次很普通的监督微调只要把自生成数据写进参数，就是 L1。

1. L0 的问题是怎样判断下一步更好

迭代修订的 baseline 很直白：生成答案，要求模型指出问题，再根据反馈重写。它便宜、通用，也最容易把语气变化误当成质量变化。反馈与答案来自同一模型时，两边往往共享盲点；模型能发现格式错误，却未必知道关键事实已经错了。继续增加反思轮数也不保证单调提升，因为每次重写都可能破坏原本正确的部分。

多样采样把「同一条轨迹反复改」换成「并行产生多条轨迹再选择」。多数投票适合答案可聚合、错误近似独立的任务；树搜索适合中间状态能被估值的问题。它们的共同瓶颈转移到选择器：若价值估计仍由同一个模型给出，搜索只是更充分地利用这套有偏评价。候选数增加时，选择偏差还会随最大值统计一起增长。

执行器、单元测试、形式证明和可核查检索结果提供了更硬的锚。它们覆盖各自能够判定的范围：「程序确实运行」「约束确实满足」或「结论能追到来源」。L0 的重要经验是让不同错误由合适的信号负责：语法交给解析器，行为交给测试，证明义务交给验证器，开放式质量再交给独立评审。

2. L1 把筛选偏差写进了参数

单模型自训练常从一个看似自然的循环开始：模型生成推理过程，保留答对的样本，再用这些样本训练自己。STaR 代表这条思路；ReST 和 EM 风格方法把生成与优化写成反复交替的两个阶段。相比 L0，L1 的收益可以跨任务保留，风险也更难回滚，因为筛选器的偏差会进入参数并影响下一轮生成分布。

设当前模型定义分布 $p_{\theta_k}(y\mid x)$ ，第 $k$ 轮先采样 $y$ ，再根据奖励或验证器构造权重 $w_k(x,y)$ 。训练目标可以写成

\theta_{k+1}=\arg\max_\theta\mathbb E_{x,y\sim p_{\theta_k}}[w_k(x,y)\log p_\theta(y\mid x)].

这个式子的行为主要由 $w_k$ 的来源决定。只有最终答案可验证时，模型可能学会产生能碰到正确答案但推理过程并不可靠的轨迹；验证器若由同一批生成数据训练，错误会形成正反馈；始终只保留高分样本，数据分布会越来越窄，少数有效但不符合现有偏好的路径逐渐消失。

冷门的自训练路线会在外部条件改变后重新变得有用。早期模型生成质量低，筛选后剩下的样本太少，自训练很容易塌缩；当基础模型更强、可执行任务更多、推理时采样更便宜时，同一类算法获得了更好的候选分布和更硬的过滤信号。算法名字没变，成立条件变了。读这类工作要把底座能力、采样预算、验证覆盖率和训练目标一起看，不能把后来的成功直接归给「自训练」三个字。

3. 从任务内收益到跨任务收益

L0 的验收单位是一道题：同一参数下，增加搜索或验证是否提高成功率，额外 token、工具调用和墙钟时间是多少。L1 的验收单位是一组没参与生成和筛选的任务：更新后的参数是否在新样本上超过旧参数，是否遗忘原能力，性能增益是否只是训练题风格迁移。

两类方法也可以组合。训练阶段用 L0 搜索产生高质量轨迹，再把轨迹写入 L1 参数；部署阶段又用 L0 扩展提高难题成功率。组合后的归因要分开：固定参数比较搜索预算，固定推理过程比较参数版本，再比较两者叠加是否存在互补。只报最终系统分数，看不出收益究竟来自更多计算、更多候选还是模型本身发生了变化。

训练和推理之间还存在一个容易漏掉的分布回路。训练数据由旧模型在搜索帮助下产生，新模型学到这些轨迹后，裸采样能力可能提高，原来的搜索器却未必仍适合它。继续沿用旧的温度、候选数和剪枝阈值，有时会压掉新模型已经能独立找到的路径。每轮都重新调搜索参数又会让参数收益与推理预算混在一起。稳妥的实验同时保留固定搜索配置和按版本调优的配置：前者用于看模型学到了什么，后者用于看完整系统能做到什么。

数据去重同样影响结论。自训练候选往往来自公开题、合成变体和历史运行记录，题面不同并不保证推理结构独立。若同一模板的变体分散进训练集和测试集，L1 看似获得跨任务能力，实际上只学会了模板。按来源、生成树或语义簇切分，比随机按样本切分更接近真正的迁移测试。对代码和数学任务，还要避免测试用例、证明骨架或参考实现通过反馈文本泄漏到训练轨迹。

能力是否被压缩进参数，可以通过裸模型与搜索增强模型的交叉比较来判断。若更新后的模型只有在继续使用原搜索器时才提高，而裸模型没有变化，训练可能只是让模型更会配合特定脚手架；若裸模型提高但搜索增益消失，说明原来由推理时计算完成的工作已经部分蒸馏进参数。这两种结果都可能有价值，但它们对部署成本和后续自训练的意义不同。

任务内的修订、搜索与验证展开 L0 的反馈来源、搜索方式和成本口径。单模型自训练进入 L1，比较 STaR、ReST 等路线怎样构造训练信号，以及筛选偏差如何跨轮积累。读完两篇，应该能在看到一个新循环时先问：结果只留在当前轨迹里，还是已经进入参数；判断成功的锚来自模型内部，还是来自可独立核查的环境。