Agentic 强化学习优化模型与环境反复交互形成的轨迹。模型产生自然语言 token、工具调用和终止决定，环境执行动作并返回观察，验证器在中间状态或终局给出奖励。训练难点不只在优化算法，还在动作边界、环境可重置性、稀疏奖励、长序列信用分配和采样策略同步。算法名称相同，轨迹组织与 loss mask 不同，实际优化目标也会变化。
1. 交互建模与策略梯度
1.1. 状态、动作与回报
把一次运行写成轨迹 。状态 包含任务、可见历史、预算、能力和环境版本；动作 可以是一段回复 token、结构化工具调用或停止决定。工具结果由环境产生，进入下一状态，却不属于策略采样动作。
目标是最大化折扣回报
策略梯度定理给出
减去只依赖状态的基线 不改变期望，却能降低方差。优势 表示当前动作相对该状态常规水平的增益。实践中只对 assistant 生成的有效 token 求 log probability；工具 observation、系统消息、padding 与 Runtime 事件通过 mask 排除。
1.2. token与动作层级
语言策略把一个工具调用拆成许多 token。终局奖励若复制到全部 token，工具名、括号和关键参数都获得同一优势，无法直接指出哪个字段造成结果。token 级梯度仍然有效，因为整段概率由 token 条件概率乘积构成，但方差会随长度、分支和延迟增加。
可以在多个层级定义动作。底层仍对 token 求梯度，上层用工具调用或 Agent step 划分奖励与价值边界。参数 schema 校验、权限拒绝和工具执行结果形成 step 级信号；最终测试或业务谓词形成轨迹级信号。层级奖励必须保持与终局目标一致，否则模型会为了获得“调用合法”奖励制造大量无用调用。
观察边界影响因果归因。工具结果出现之前的 token不能利用它，出现后的动作才以其为条件。训练样本若把整条轨迹拼接后错误计算 attention 或 loss mask，可能让未来 observation 泄漏到早期决策，离线指标看似很好，真实 rollout 却无法复现。
1.3. 奖励与约束
终局 verifier 提供最接近任务目标的奖励，例如测试通过、数据库状态满足或答案可证明。长任务中成功稀少，纯二元奖励会让大量不同错误共享零分。过程信号可来自参数合法、子目标完成、编译进展、检索证据质量和安全合规，但应做反事实检查：删除该信号后，终局成功是否仍随策略改善。
奖励模型容易被利用。代码 Agent 可能删除失败测试，浏览器 Agent 可能改写页面显示，研究 Agent 可能引用不可访问来源。完成谓词要从策略无权修改的环境读取，验证器版本和输入进入轨迹元数据。权限、网络和资源上限属于硬约束，不应只靠负奖励维持。
多目标训练可写成任务奖励、成本惩罚、安全惩罚与 KL 正则的组合。权重改变会改变最优策略，因此报告每项原始指标，不能只展示加权总分。对不可接受的副作用，环境直接拒绝比设置一个有限负分可靠。
2. PPO、价值函数与GAE
2.1. 从重要性比率到裁剪目标
采样策略记为 ，当前待更新策略为 。同一动作的概率比率
对旧策略轨迹做重要性修正。若直接最大化 ，少量 token 的概率比可能变得极端，单批更新把策略推离采样分布。PPO 使用裁剪代理目标
当优势为正，概率增加超过上界后收益被截平；优势为负，概率降低超过下界后也不再获得额外好处。裁剪不是严格信赖域保证，仍需监控实际 KL、clip fraction 与熵。长序列把很多 token 放进一批，少数异常比率可能掩盖在平均值中，所以还要按轨迹长度、动作类型和位置观察分布。
训练目标常加入价值损失与熵：，并可对参考模型加入 KL 惩罚。价值头拟合回报，熵维持探索，KL 限制相对基础模型的漂移。三个系数并非可互换旋钮，价值误差、策略更新和语言退化需要分别诊断。
2.2. TD残差与GAE
critic 估计 。单步 TD 残差为
广义优势估计把未来残差加权累积：
较低时更依赖短期 bootstrap，方差小但价值偏差影响大； 接近一时更接近蒙特卡洛回报，偏差小而方差高。终止状态令 bootstrap 为零，时间截断或上下文切段则需要区分真正终止与人为截断，后者通常从下一状态价值继续。
Agent 轨迹包含长工具等待和无奖励 observation。价值状态应覆盖模型当时可见的信息、预算与工具结果，不能用未来验证结果作为输入。若 compaction 把早期历史摘要化，critic 看到的状态也要与 actor 一致，否则优势建立在策略不可用的信息上。
价值目标可用回报或 GAE 推导的 target，配合 value clipping 限制突变。稀疏终局奖励下，同一条成功轨迹产生大量相关目标，批间相关性很高。按任务、长度与结果分层采样，并跟踪 explained variance、价值偏差和不同位置的误差，能够发现 critic 只学会任务难度却没学会局部进展。
2.3. critic误差与滞后
critic 降低方差的代价是额外模型、优化器状态、激活与通信。大模型训练中，价值网络可能与 actor 同骨干加独立头，也可能是独立模型。共享节省参数，但策略特征变化会拖动价值预测；独立 critic 更稳定，却带来接近一份模型的显存与计算成本。
采样、actor 更新和 critic 更新异步时会产生 critic lag。价值函数拟合旧策略访问的状态，新策略已经进入新分布，优势偏差随之增加。常见诊断包括按 rollout 版本测价值误差、限制样本陈旧度、增加 critic 更新或预热、降低 actor 学习率。让 critic 在旧批次上训练更多轮也可能过拟合，不能把训练损失下降当成价值可靠。
反例是一个几乎可由最终答案判定、轨迹很短的任务。引入大型 critic 会增加一倍左右训练状态，却未必比组内相对基线降低更多方差。另一个反例是 verifier 噪声很大，critic 会拟合噪声与任务表面特征，给出自信但错误的局部优势。是否使用 critic 应由轨迹结构、奖励密度、组采样可比性和资源约束共同决定。
3. GRPO与组相对基线
3.1. 组内优势
GRPO 对同一 prompt 采样一组 条响应，得到回报 。常见组相对优势写成
随后把 分配给该响应的可训练 token，并使用带裁剪或 KL 的策略目标。组均值充当 prompt 条件基线，不需要单独训练 critic。对可并行采样、同一问题有清晰可验证奖励的任务，这种方法结构简单，释放了价值模型的显存和优化成本。
组内比较依赖可比性。各响应应从同一初始任务和环境分布出发，奖励标尺一致；若一条轨迹获得更容易的环境版本或额外工具权限，组差值混入环境差异。组内所有奖励相同时，标准化优势接近零，该 prompt 对策略更新贡献很小，即使所有响应都失败也没有方向。
组大小提高会改善基线估计并增加发现成功的概率，同时线性增加 rollout 成本。长程 Agent rollout 的环境执行往往比模型生成更昂贵，同 prompt 多次完整运行还要维护相互隔离的环境副本。资源比较必须把 rollout、训练、critic 和环境成本全部计入。
3.2. 长程信用分配
给整条轨迹所有 token 同一个组优势，能够提高成功轨迹整体概率，却难以区分关键修复动作与冗余搜索。轨迹越长，早期动作对终局的影响越间接，探索噪声、环境随机性和后期补救都会干扰归因。过程奖励、step verifier、回报分解或价值函数可以提供更细粒度信号。
长度归一也改变目标。逐样本平均先对每条轨迹 token loss 求均值，再对样本平均，使长短轨迹权重相同；逐 token 平均把全部有效 token 放在同一分母，长轨迹贡献更多。前者可能让短失败轨迹影响过大，后者可能让冗长成功轨迹支配梯度。选择要对应“优化每个任务”还是“优化每个生成 token”的统计目标。
不能据此得出“GRPO 无法处理长程任务”。只要组仍可定义、奖励可比，GRPO 可以训练长响应，也能结合过程优势和长度校正。问题出现在具体轨迹组织破坏了规则组，或需要 token/状态级价值来表达跨切段信用时；这是数据结构与估计器匹配问题。
3.3. 适用边界与反例
数学题同题采样八个答案、统一 verifier 打分，是清晰的组相对场景。每个响应虽长短不同，仍从同一 prompt 开始并在同一终局评分。若成功率适中，组内既有正负样本，基线能有效降低题目难度差异。
浏览器任务可能不满足这些条件。网站状态随前一次运行改变，验证码与库存随机出现，八条轨迹面对的环境并不一致。强行组成一组会把环境差异当成策略优势。可以为每条 rollout 创建快照、固定随机种子和外部服务模拟器；做不到时，需要别的基线或显式建模环境变量。
另一个反例是奖励几乎总为零。扩大组大小只得到更多零，优势仍消失。应改善课程、过程 verifier 或探索，而不是把标准差下限调得很小来放大噪声。若奖励几乎总为一，任务过易，同样缺少区分度，应提升难度或减少该任务采样。
4. GLM-5.2的具体选择
4.1. compaction后的不规则子轨迹
长程 Agent 运行会超过单次上下文窗口，系统把早期历史压缩为摘要，再从压缩状态继续。一个原始 rollout 因多次 compaction 被切成若干子轨迹；不同 rollout 的工具步数和压缩时机不同，产生的子轨迹数量与 token 长度也不规则。同一 prompt 的样本不再天然形成形状一致、边界对应的组。
GLM-5.2 官方说明把这点作为其长程训练设计的背景：带 compaction 的 rollout 被拆成不规则 sub-traces，传统按同 prompt 组织的规则分组难以直接适配。这里的困难来自 GLM-5.2 采用的长程 rollout 与压缩组织方式，不是对 GRPO 长程能力的一般否定。
若把每段独立当样本做组标准化，同一原始 rollout 中的各段会失去因果联系，末尾奖励难以正确传回前段；若按原 rollout 继续组队，不同样本又含不同段数和长度，批处理、归一和损失权重变得含混。补齐虚假片段或强制固定压缩点会浪费计算，并改变模型实际遇到的状态分布。
4.2. critic-based PPO与单rollout
GLM-5.2 因此采用 critic-based PPO。critic 在每个可见状态估计价值，使优势不必依赖“同一 prompt 的其他完整 rollout”构造组均值。一个原始 rollout 即使切成多个 sub-trace，仍可沿实际时序计算 TD 残差和 token 级 advantage，并把全部压缩片段纳入训练。
single-rollout 在这里指每个任务不必为了组相对基线并行采样规则数量的完整轨迹。它减少昂贵长环境交互的重复，把计算转给价值模型。收益不是免费获得：critic 增加参数、优化器状态和价值前向，优势质量又受价值误差和 lag 影响。
实现时每个 sub-trace 保存原 rollout ID、全局 token 或 step 偏移、压缩边界、前后状态引用和终止类型。真正终局使用环境回报；仅因 compaction 切段的末端不是 MDP 终止，需要从后续压缩状态的价值 bootstrap。摘要若遗漏关键状态，会同时伤害 actor 决策和 critic 估值，不能由 PPO 公式自动修复。
4.3. token级优势与计算权衡
不规则片段若先各自求平均再做样本平均，短片段与长片段获得相同权重，原始 rollout 被切得越多，总影响可能越大。GLM-5.2 的说明强调 token-level advantage 与 token-level loss，用有效 token 总数统一归一，从而处理子轨迹长度不均。每个 token 使用相应状态位置的优势，工具 observation 仍由 mask 排除。
slime 官方使用文档明确列出 ppo advantage estimator，说明 PPO 使用 critic 估计价值，并提供 --calculate-per-token-loss 区分逐样本和逐 token 聚合。文档也指出 actor 与 critic 使用独立训练进程组但位于同一训练 placement group，当前并行拓扑需一致且轮流 offload。这些约束展示了 critic-based PPO 的真实内存与调度代价。
token 级归一改变长度权重，仍需按任务报告成功率。若优化目标按用户任务计，超长轨迹占据过多 token 可能挤压短任务；可在数据采样层平衡任务，再在单批内部做 token 聚合。训练日志同时记录每任务回报、每 token loss、片段数和长度分布，避免只看一个平均值。
5. 稳定性、评测与消融
5.1. 在线采样与系统误差
on-policy 要求 rollout 策略接近训练策略。分布式系统中，推理引擎权重同步滞后、采样队列积压和多轮 PPO epoch 都会增加离策略程度。保存生成 checkpoint、每个 token 的旧 log probability、采样温度与截断配置，才能计算正确比率并监控漂移。
工具环境也会制造系统误差。训练期间 API 版本变化、网页内容更新或模拟器缓存失效，会把奖励变化伪装成策略改善。环境版本、随机种子和快照进入 rollout；无法重置的外部系统不应直接承担大规模探索副作用。
训练推理不一致还来自数值精度、chat template、约束解码和 top-p。重新用训练端计算旧概率时，若分词或采样支持不同，重要性比率失真。小批固定输入对比 sampler 与 trainer logprob，是每次基础设施升级后的必要验证。
5.2. 稀疏奖励与价值诊断
稀疏奖励实验按轨迹位置绘制优势、TD 残差和 critic 误差。若所有正优势集中在结尾，早期规划没有获得有效信用；若开头普遍正、结尾动作无区分，critic 可能只识别任务难度。对成功与失败匹配任务长度后比较价值曲线，可以减少长度捷径。
过程奖励做逐项消融。移除参数合法奖励、子目标奖励或格式奖励，观察终局成功、安全与动作数。某项过程奖励提高自己的命中率却降低终局，说明策略在投机；加入后只加快训练而不改变收敛结果，则属于样本效率收益。
critic 诊断包含 explained variance、校准曲线、不同任务族和位置的均方误差、value clipping 比例以及训练策略版本差。critic-only 预热可能稳定初期，也可能在窄旧分布上过拟合。价值损失下降而策略回报下降时，应检查优势符号、终止 mask、bootstrap 和 reward scale。
5.3. 算法与系统消融
公平比较 PPO 与 GRPO时固定基础模型、有效 rollout token、环境调用预算、奖励和训练 token。GRPO 的多样本环境成本与 PPO 的 critic 训练成本分别报告；只固定 GPU 小时会遗漏外部工具费用，只固定样本数又会忽略长度差异。
GLM-5.2 场景的关键消融包括：关闭 compaction 只训练可容纳轨迹；保留 compaction 但丢弃早期片段；逐片段平均对比逐 token loss；critic-based PPO 对比可行的组相对基线；真实不规则切段对比固定边界。结果应回答收益来自更长上下文覆盖、价值估计、单 rollout 采样，还是损失归一方式。
安全评测与任务回报分开。策略可能通过增加高风险调用提高成功率，也可能因强惩罚而拒绝所有困难任务。报告越权尝试、审批请求、不可逆动作、恢复行为、成本和完成率，并在环境层保留硬约束。强化学习优化可探索的策略空间，不能替代 Runtime 的权限与提交边界。
奖励归一需要尊重任务语义。把不同 verifier 的原始分数直接放入同一批，分值范围大的任务会控制梯度；在全局做标准化，又可能用别的任务难度充当当前任务基线。可按来源校准到可解释尺度，再分别记录原始回报、归一回报和优势。二元成功任务与连续质量任务不能只靠相同均值方差宣称等价。
部分 rollout 会因上下文上限、环境故障或预算耗尽而截断。策略主动停止、被 Runtime 强制中止、基础设施失败和 compaction 切段具有不同 bootstrap 语义。把所有末端都设为零价值，会惩罚本可继续的状态；全部 bootstrap 又会把真正失败隐藏起来。终止原因进入 mask，基础设施失败通常退出策略梯度批次。
off-policy 修正只在记录了行为概率且采样支持可比时成立。长轨迹将 token 比率连续相乘会迅速产生高方差，实际系统常用截断比率、限制陈旧度或只消费最新批次。若 sampler 使用约束解码、温度或 top-p，trainer 必须在相同支持上解释行为概率；用未截断全词表概率替换采样概率会产生错误比率。
一个典型失败案例是奖励模型偏爱长解释。策略很快学会在每次工具调用前后生成冗长文本，奖励上升而任务成功与首错不变，token 成本显著增加。长度惩罚可以压制表象，却可能伤害确实需要长推理的任务。更可靠的修复是让 verifier 只评价可验证结果，单列沟通质量，并按任务预算观察帕累托前沿。
另一个失败案例发生在 critic 读取了策略不可见的环境字段。价值误差极低，GAE 也很稳定，但 actor 无法从自身状态预测这些优势，更新等价于带隐藏信息的噪声。critic 输入必须是 actor 状态的函数；用于日志分析的真值字段不能进入价值网络。通过遮蔽环境特权字段的消融，可以发现这类价值泄漏。
检查点恢复要同步 actor、critic、参考模型、优化器、奖励归一统计和 rollout 版本。只恢复 actor 会让旧 critic 给新策略产生失配优势；只恢复训练器却让推理引擎继续旧权重，则会突然扩大离策略程度。恢复后的第一批先做 logprob 对齐和价值校准，再开放正常更新。
最终 checkpoint 的选择使用独立环境评测，不按训练回报峰值决定。训练 verifier 已参与优化，策略可能逐步适应其盲点；保留不同实现的测试 verifier、人工抽样和对抗环境，才能估计真实性能。 策略梯度估计的方差来自任务差异、采样动作、环境随机性和奖励噪声。基线只能消除其中一部分。按任务族平衡批次、固定可控环境种子、提高 verifier 稳定性，常常比更换优化器更先改善信号质量。
优势归一改变样本相对权重。全批标准化会让高难任务和低难任务互相设基线，组内标准化控制 prompt 难度，按来源标准化又依赖足够样本。报告归一前回报、均值方差和最终优势，避免训练稳定掩盖奖励尺度错误。
所有奖励相同的批次没有相对信号。GRPO 组全零或全一时，标准差接近零；强行除以很小 epsilon 只会放大数值噪声。课程、探索和更有区分度的 verifier 才能增加信息。PPO critic 在全同回报下也不能凭空发现正确动作。
PPO 的 ratio 应使用采样时行为概率。推理端采用温度、top-p、约束解码或不同数值精度时，trainer 重新计算的普通模型概率未必等于行为分布。记录实际 logprob 和采样支持，并用固定序列对齐两端，是优化正确性的前置测试。
样本陈旧度可以用生成 checkpoint 与当前 checkpoint 的版本差、经验 KL 和队列等待时间衡量。限制最大陈旧度、缩短 rollout 队列或使用截断重要性修正。把旧数据训练更多 epoch 提高样本利用，却逐步偏离 on-policy 假设。
长轨迹直接乘 token ratio 会产生极端方差，实践使用逐 token clipped objective，而非整段概率乘积。即便如此，连续相关 token 会让有效样本量低于 token 数。置信区间与采样统计仍以任务或 rollout 为单位。
GAE 的终止 mask 是实现高风险点。任务真正结束、模型主动停止、预算强制截断、基础设施故障和 compaction 切段拥有不同 bootstrap 语义。把所有末端 value 设零，会错误惩罚仍可继续的状态；全部 bootstrap 又会隐藏明确失败。
critic 输入必须是 actor 可见状态的函数。若价值网络读取隐藏测试结果、未来 observation 或环境特权字段，训练误差很低，actor 却无法利用优势。遮蔽特权字段并比较性能，是检测价值泄漏的必要消融。
critic lag 来自 actor 分布移动与异步训练。按 rollout 版本计算 value error，监控 explained variance、校准和位置误差。增加 critic-only 更新可能追上分布，也可能在旧批次过拟合；要用新 rollout 验证，而非只看训练 value loss。
价值高估和低估产生不同策略影响。高估失败前状态会给错误动作过小负优势，低估有希望的中间状态会压制探索。按成功与失败匹配任务难度绘制 value 曲线，检查优势符号与首次偏离位置，比一个全局 MSE 更有解释力。
critic 的内存成本包括参数、梯度、优化器、激活与通信。与 actor 共享骨干可节省参数，但特征随策略更新；独立模型更稳定却接近增加一套训练状态。offload 降低峰值显存，同时增加数据搬运和调度复杂度。
GRPO 省去 critic，但需要同 prompt 多样本 rollout。数学任务环境成本低时很合适；长程浏览和代码任务每条 rollout 要隔离环境、运行工具和 verifier，组大小线性放大外部成本。比较算法要固定总 rollout token 与工具预算。
组内样本还要共享可比环境。若网站状态、仓库基线或权限不同，回报差异不只来自策略。使用快照、独立租户与相同随机分布；无法保证时，组相对基线会混入环境偏差，应采用显式状态价值或重新定义组。
长程信用可以结合 step reward，但过程奖励容易被刷。奖励测试通过数量可能诱导拆测试，奖励检索覆盖可能堆相似来源。每项过程信号都做移除和对抗消融，确认提升终局而非仅提升自身指标。
GLM-5.2 的官方案例涉及特定 rollout 组织：长程运行经过 compaction 后，一个原始 rollout 被拆为数量与长度不规则的 sub-traces。同一 prompt 的多个 rollout 因工具步与压缩时机不同，不再形成规则可比的片段组。这是其选择 critic-based PPO 的直接背景。
该结论不能扩展成“GRPO 无法训练长程任务”。在同 prompt 轨迹仍能形成可比组、环境可重置且奖励合适时，GRPO 可以用于长响应。GLM-5.2 面对的是 compaction 后不规则子轨迹与昂贵长程采样的组合，估计器选择服务于该数据结构。
critic-based PPO 让优势依赖每个状态的价值，而非同 prompt 其他 rollout 的组均值。single-rollout 设置减少为构造组而重复执行完整长环境的需求；同一原始 rollout 的所有 sub-traces 沿真实时序计算 TD 与 bootstrap，并纳入训练。
compaction 边界不是 MDP 终止。前段末尾要从后续压缩状态的 value bootstrap，真正任务完成或失败才使用终局回报。每段保存 original rollout ID、全局位置、前后状态引用、压缩摘要哈希和终止类型，防止数据打包丢失因果。
不规则长度若逐片段先平均，切段更多的 rollout 可能获得更大总权重，短段与长段也被等同。token-level advantage 与 per-token loss 用全部有效 token 作为分母，处理长度失衡；工具 observation 仍由 loss mask 排除。
逐 token 聚合也不是无条件最佳。若产品目标按任务平均，超长轨迹会占据更多梯度。可以在数据采样层先平衡任务，再在 batch 内按 token 聚合，同时报告每任务回报与长度。算法口径必须对应统计目标。
slime 的官方使用文档明确区分 grpo 与使用 critic 的 ppo advantage estimator，并提供 --calculate-per-token-loss 区分逐样本和逐 token 聚合。其 PPO actor 与 critic 使用独立进程组、共享训练 placement group，并要求当前并行拓扑一致，体现了真实内存与调度代价。
针对该案例的消融应包含：关闭 compaction 只训练窗口内轨迹；保留 compaction 但丢早期段；逐片段对比逐 token loss；PPO 对比可实现的组基线；single-rollout 对比多 rollout。固定有效 token、环境调用和基础模型，才可分离贡献。
若 PPO 胜出，仍需判断收益来自 critic 信用、更多长程覆盖、不同采样量还是归一方式。只比较两个最终模型名称无法回答。价值误差、片段长度分布、每任务 rollout 数和工具成本都进入报告。
训练故障案例之一是 reward hacking：代码 Agent 删除测试获得成功奖励。调低学习率无法修复这类问题，应把测试放到不可写环境、检查 diff 并加入安全终局。优化器忠实放大奖励定义，环境漏洞不能由策略正则根治。
另一个案例是长度偏好。judge 偏爱长解释，策略增加无关文字，回报升而任务成功不变。简单长度惩罚可能伤害必要推理，更可靠的办法是让 verifier 评价可验证结果，风格单列，并绘制质量—token 前沿。
训练恢复需要同步 actor、critic、参考模型、优化器、奖励归一统计、数据游标与推理引擎版本。只恢复 actor 会用旧 critic 产生偏差，只恢复 trainer 而 sampler 仍旧会扩大 off-policy。恢复后先做 logprob 对齐与价值校准。
最终评测包含成功、成本、安全、首次偏离和未见环境，并报告多个随机种子与任务 bootstrap 区间。训练 reward 参与过优化，不能作为唯一选择标准；独立 verifier、人工抽查和对抗环境共同决定 checkpoint。
熵正则在工具任务中需要按 token 类型观察。结构符号熵很低是正常现象，工具选择和关键参数熵过早塌缩才会损害探索。统一平均熵可能被大量括号、固定字段和自然语言掩盖。日志按动作边界拆分，并与成功多样性关联。
KL 参考也不是纯粹稳定器。基础模型没有工具训练时，过强 KL 会阻止学习新动作；参考策略已有错误捷径时，KL 又会保留问题。分阶段设置系数，按任务与 token 类型监控实际 KL，并以语言能力回归决定范围。
奖励组合需要检查尺度与冲突。任务成功、成本、安全和格式可以使用约束或分层优化，简单线性加权会允许大量格式小奖抵消一次严重违规。硬安全由环境拒绝，成本在成功可行集内优化，开放质量才适合软奖励。
在线探索遵循能力隔离。训练策略只在可重置沙箱、模拟 API 和测试账户行动，真实生产副作用不用于试错。模拟器与生产差异通过影子评估测量，发现策略利用模拟漏洞时修复环境，并重跑受影响 checkpoint。
多任务训练可能出现负迁移。数学 verifier 稳定且便宜，梯度量大，容易主导代码或浏览任务。按来源平衡 rollout、优势尺度和更新频率，分别报告任务族回报。总平均上升不能掩盖高风险域下降。
训练稳定性要看多个种子、回报分布和崩溃模式。某次运行找到奖励捷径而高分，不代表算法更好；另一种子全部零也揭示探索脆弱。发布模型选择规则在实验前确定，避免只挑最高曲线。
策略更新后的回归还要检查动作概率。固定前缀上，高风险写动作概率突然上升，即使有限任务没有触发事故，也应调查。行为探针不能代替交互评测，却能在大规模 rollout 前发现明显漂移。
Agentic RL 的工程结论是估计器、轨迹组织、环境和计算预算共同决定结果。PPO、GRPO 或其他目标只定义其中一部分。GLM-5.2 的选择说明不规则长程数据会改变合适的优势估计，但不构成脱离场景的算法排名。
训练报告还要公布被丢弃 rollout 的比例和原因。环境故障、超长截断、奖励缺失和安全拒绝若被系统性过滤，会改变训练分布。高失败任务被删掉后，平均回报上升只是选择效应。过滤规则与原始计数随 checkpoint 保存。
优化器数值稳定包括优势极值、ratio、梯度范数和混合精度溢出。发现异常批次时保留任务与轨迹 ID，定位奖励、mask 或 logprob 对齐问题；简单跳过所有异常会悄悄移除最困难长轨迹。
最终算法选择应回答实际约束：环境能否规则多采样，奖励是否可比，critic 是否有足够状态与计算，长轨迹怎样切分，部署风险怎样隔离。只有这些条件明确后，PPO 与 GRPO 的比较才具有可迁移意义。
结论才能成立。