Agent 强化学习的训练样本是一条穿过 Harness、工具和环境的轨迹，独立文本只覆盖其中的模型输出。模型提出动作，Harness 可能修复格式或补充参数，环境产生新状态，验证器在终点给出奖励。训练器若只拿到拼接后的消息，很难知道哪些 token 真由策略采样，哪些结果来自外层系统，更无法重建当时的条件概率。
长轨迹还会放大数据时效问题。一次 episode 运行几十分钟，结束时训练策略可能已经更新多轮；短任务先返回、长任务后返回，又会让异步队列偏向简单样本。训练接口必须记录 policy checkpoint、tokenizer、system prompt、Harness 和环境版本。缺少任何一项，重要性比率与组内比较都会混入版本差异。
1. 从部署 Harness 产生可训练轨迹
可靠数据流依次包含任务初态、规范化请求、模型原始 token、工具动作、环境观察、验证结果和终止原因。Harness 自动修复的 JSON 可以用于执行，却不能冒充模型亲自生成的序列参与 policy loss。并行 Agent 的历史则应保存为调用 DAG，只有明确同步后的状态才能进入另一个分支的条件上下文。
OpenForge 轨迹与训练接口沿 OpenForge-RL 的代理、沙箱、训练器和课程设计拆解这条管线。它关心 train-deploy mismatch 怎样产生，也关心环境故障、轨迹重建失败与策略过旧会淘汰多少昂贵样本。最终吞吐应按真正进入更新的有效轨迹计算，不能只报启动了多少 rollout。
2. PPO、GAE 与组内基线各解决什么
终局奖励只能说明整条轨迹是否成功。组内相对优势用同一任务的多条采样建立基线，省去 critic；当长轨迹昂贵、整组全成或全败时，组内方差会塌缩。PPO 训练价值函数，并可用 GAE 把回报按时间位置传播，提供更细的时序信号；代价是 critic 偏差、显存与训练复杂度。两者都不能自动解决错误的验证器和严重离策略数据。
长轨迹信用分配把这组条件写成公式，并讨论稀疏奖励、策略滞后、快照分支和反事实续写。在稀疏终局奖励、长 episode 和昂贵组采样同时出现时，critic 与 GAE 能提供组内终局比较缺少的时间分辨率，同时引入价值估计偏差和额外训练成本。GLM 的公开配方采用 PPO，公开材料未给出足以确认团队动机的 PPO/GRPO 受控消融。
3. 算法选择前先检查数据形状
若每个任务可以便宜地产生多条同版本轨迹，奖励分布又有足够差异，组内基线省掉 critic 的优势很直接。若 episode 很长、环境昂贵，八条轨迹可能占用数小时，且终局奖励经常全为零，此时重复采样的成本与零方差会成为主要矛盾。PPO 也并非自动胜出：价值函数若看不到权威环境状态，或训练数据过少，GAE 只会把 critic 的误差沿时间传播。实际实验应报告组内方差、价值误差、策略年龄、裁剪比例和单位墙钟时间的有效更新量，再谈哪种算法更合适。