Browse this library

Chinese source article

4.2 · 反思、验证与反馈学习

说明环境反馈如何转化为动作修正,并划清语言反思与独立验证的边界。

View original Markdown ↗

1. 反馈来源

1.1. 环境反馈

环境反馈直接来自动作结果,如编译错误、测试失败、网页状态或数据库约束。它与当前动作有明确因果联系,是修正参数和计划的首要依据。

反馈要保留原始错误类型和相关上下文。过早改写成笼统摘要,会丢失定位下一动作所需细节。

1.2. 验证器反馈

验证器根据目标谓词检查环境结果,可以是测试、规则、证明器或来源核验。它独立于生成策略,减少模型自评的偏差。

同一个模型担任生成者和评审者时,仍可提供信号,但不能视为独立证据。高风险任务需要外部可检查条件。

2. 语言反思

2.1. 失败归因

反思把轨迹中的失败压缩为可操作约束,例如缺少前置读取、参数范围错误或验证覆盖不足。有效反思应指向下一轮能改变的决策。

“需要更仔细”没有动作含义,也无法评测。反思若无法对应工具、状态或计划变更,不应长期保存。

2.2. 记忆写入

一次失败产生的反思先属于当前轨迹。跨任务写入长期记忆前,要验证原因是否具有普遍性,并记录适用环境。

错误归因一旦持久化,会在许多后续任务中扩大影响。记忆系统因此需要版本、撤销和来源链接。

3. 反馈闭环

3.1. 修正动作

反馈可以触发参数修正、选择其他工具、调整计划或停止。控制器按错误类别限制可用转移,避免同一失败无限重试。

修正后再次运行同一验证器,才能确认反馈被正确利用。仅生成一段反思文字不能证明行为改善。

3.2. 评测反馈价值

可以比较无反馈、原始反馈、摘要反馈和反思反馈下的恢复率与额外成本。这样能区分信息本身和额外模型调用的贡献。

评测还要检查错误恢复是否引入新副作用。完成率上升但越权操作增加,不代表反馈机制更可靠。

4. 反馈失真与信用分配

4.1. 谁造成了失败

长轨迹终局失败的来源包括查询、计划、工具故障和提交。把同一负反馈归给所有动作会惩罚正确步骤。信用分配需要动作—观察因果链、子目标验证与首次偏离分析。

步骤 verifier 提供密集信号,却可能奖励局部捷径;终局 verifier 更贴近目标,却稀疏。系统可用局部信号指导恢复,仍以终局与安全约束决定成功。

4.2. 反馈失真

测试覆盖不足会接受错误代码,网页成功提示可能是缓存,搜索摘要可能不支持结论。模型反思又可能把症状归为错误根因。反馈记录来源、版本、覆盖范围与置信度,冲突时重新验证。

反馈中还可能包含提示注入或敏感数据。工具结果属于不可信输入,语言摘要不能获得系统指令权限。安全边界依旧由执行器强制。

4.3. 自我修正的边界

没有新增证据的自我批评容易重复原错误。CRITIC 通过搜索、代码解释器等外部工具检查初稿,再据反馈修订;Reflexion 用任务反馈生成反思供下一尝试使用。两者都比“请再检查”增加了可观察信号。

反思应指出可改变的动作、证据缺口或约束。笼统的“更仔细”无法评测。写入跨尝试记忆前,系统检查归因是否被轨迹支持,并限定任务作用域。

5. 对照实验与案例

5.1. Reflexion实验

Reflexion 不更新权重,而是把标量或语言反馈转成反思,加入 episodic memory 后重试。论文覆盖 ALFWorld、HotpotQA 与代码任务,摘要报告 HumanEval pass@1 91%,基础 GPT-4 80%。改进包含外部测试、反思和多次尝试的联合贡献。

消融要分别去掉测试反馈、语言反思与记忆,固定尝试次数和 token。否则更多重试本身就可能提高 pass@1。错误反思和任务特例还会造成负迁移,因此结果不能外推为长期通用记忆。

5.2. 代码修正轨迹

模型生成函数后,编译器通过,单元测试在空输入失败。原始反馈包含断言、输入和堆栈,verifier 将其绑定到当前补丁。反思归因“遗漏空集合分支”,模型修改并重跑全部测试。

若只修目标用例却破坏普通输入,回归 verifier 阻止完成。反思更新为“分支位置改变了非空路径”,而不是保留第一次归因。最终成功要求目标与回归测试通过,并检查差异范围。

5.3. 对照口径

比较无反馈、模型自评、原始工具反馈、工具反馈加摘要和 Reflexion 记忆,固定模型、任务、最大尝试与总预算。指标包括首次成功、最终成功、恢复率、额外调用、错误反思率和副作用。

评审模型只能作为一类 verifier,并在人工或确定性集合上校准。对事实、代码和环境状态优先使用可执行检查。任何反馈方法提高平均完成率却增加越权、循环或成本,都需要单独报告。

Verifier 类型。

确定性 verifier 返回真假与反例,如编译器、单测和 schema;统计 verifier 返回分数与置信度;模型 verifier 返回判断与证据引用。三者不能压成同一个通过字段。安全约束作硬门,目标正确性作主要门,风格作软分数。

结果绑定资源版本。测试针对提交 A,不能批准提交 B;网页价格检查带时间与会话,不能证明稍后提交金额。缓存只有在环境、配置和资源哈希一致时复用。

反馈转换。

转换器从长日志提取错误类型、对象、期望、实际、位置和可重试性,并保留原始产物指针。无法确定时标记 unknown,不补写根因。反思再回答哪项决策应改变、哪些成果仍有效。

同一超时可来自复杂度、死锁或资源不足。反思先列可区分假设,再选择诊断动作。新 observation 排除候选后才更新结论;“更仔细”这类文本没有动作含义。

跨尝试记忆与信用分配。

跨尝试记忆。

Reflexion 将反思加入 episodic memory。记录包含任务、尝试号、反馈来源和有效范围。某个迷宫布局的方向经验不应迁移到新布局,通用检查步骤才可能复用。

缓冲区按可操作性、证据和新颖性选择反思。连续失败后停止,而非不断生成更长反思。它没有更新模型权重,清空 memory 后收益会消失,评测需明确记忆预算。

信用分配案例。

研究 Agent 最终把百万写成十亿。轨迹包含查询、读取、提取、单位转换和写作。首次偏离在转换,前面的来源选择仍正确。反馈绑定原始值、公式和成稿值,只重做依赖该字段的节点。

终局零分若不定位,会诱导模型重新检索,增加成本而不修问题。正确信用还要保留成功前缀,训练或技能提炼时不能因终局失败丢弃全部有效动作。

6. 失败控制、实验与发布验收

6.1. 反馈污染与修正停止

反馈污染。

网页可伪造“验证通过”,日志可包含用户控制的指令。适配器只信受控状态字段,文本作为数据。安全相关规则只能由受信策略发布,反思不能扩大工具权限。

反馈还可能泄漏秘密。测试反例进入反思后若写入共享记忆,会跨任务暴露。数据标签随 observation 传播到摘要、日志和记忆,读取前重新过滤。

修正停止。

循环设置最大尝试、连续同类错误、无状态进展和成本上限。两次修改得到相同 verifier 结果时,策略改变假设或停止,并可回滚到最近通过检查点。

达到上限时交付已验证部分、失败证据和所需人类决定。固定尝试次数和总预算后再比较 Reflexion 等方法,否则更多重试本身就会提高累计成功。

6.2. 评测矩阵与闭环计算

评测矩阵。

任务覆盖代码、知识问答、网页与状态决策,并包含强反馈、弱反馈和误导反馈。条件包括无反馈、自评、外部 verifier、反馈加反思和跨尝试记忆。

指标包括检出率、归因准确、修正成功、累计成功、负迁移、token、工具与安全事件。固定生成策略替换 verifier,再固定 verifier 替换修正策略,分离证据质量与利用能力。

闭环计算。

设候选为 yty_t,环境结果为 oto_t,反馈 ft=V(yt,ot,G)f_t=V(y_t,o_t,G),修正 yt+1=C(yt,ft,mt)y_{t+1}=C(y_t,f_t,m_t)。循环在 verifier 通过、预算耗尽或无进展时终止。只读 yty_t 是自评,同时读 oto_t 才能核验外部结果。

代码中 yty_t 是补丁,oto_t 含退出码和日志,ftf_t 含失败用例、期望、实际和位置。研究任务中 verifier 建立主张—来源矩阵,缺少支持时要求补证据或收缩主张。

6.3. 轨迹对照、反例与发布验收

Reflexion 轨迹。

ALFWorld 尝试失败后,Evaluator 根据动作轨迹判断状态遗漏或低效规划,Self-Reflection 生成“拿取前确认容器已打开”等经验并写入 episodic memory。下一尝试读取该经验,环境再次给奖励;连续失败达到上限后停止。

HumanEval 中 Actor 生成代码,测试提供反馈,反思解释失败并再次生成。论文摘要报告 Reflexion 91%、基础 GPT-4 80%。该数字包含测试、反思和多尝试,不能与一次裸生成按相同预算解释。

CRITIC 轨迹。

CRITIC 从初稿出发,选择搜索、解释器或分类器核验,依据工具 observation 生成 critique,再修订。若初稿把论文年份写错,搜索会议原页后,critique 指向年份并修改依赖时间线。

工具也会错。聚合摘要、不可执行测试或注入网页会产生失真反馈。对照需要同等次数的无工具自我修正,才能判断提升来自外部证据还是额外采样。

信用分配。

五步轨迹搜索、读取、提取、换算、写作,最终因百万写成十亿得零分。把零分给所有步骤会惩罚正确前缀。步骤 verifier 将偏离定位到换算,只重跑换算及其依赖写作。

反事实重放固定前三步并替换换算后成功,说明换算具有因果贡献;重新搜索但保留错误换算仍失败,说明检索不是根因。无需穷举全部反事实,可从检查点测试代表候选。

6.4. 反馈反例、消融与发布验收

反馈反例。

同一模型无新证据地反复批评,可能输出更长但不更准。公开测试还可能被硬编码绕过,网页成功提示也可能来自缓存。改进 verifier 覆盖与独立性,比增加反思轮数更直接。

语言反思会负迁移。一次暂时超时若总结成“该工具不可用”,后续任务会永久绕开服务。正确记录应保留时间、错误类型和重试条件,并限制作用域。

消融与噪声。

第一组固定 Actor,比较无 verifier、自评与外部 verifier。第二组固定外部反馈,比较原始 observation、摘要和反思。第三组固定反思,比较当前使用与跨尝试 memory。各组保持相同尝试数和 token。

注入 verifier 误报、漏报和错误位置,检查系统是否盲从。鲁棒系统在反馈与环境冲突时请求第二证据。报告首次与累计成功、恢复、负迁移、成本和安全事件。

发布验收。

每类 verifier 建黄金集合与版本回归,反馈 schema 包含错误码、对象、期望、实际、证据与可重试性。运行中监测同类错误重复、修正成功和回滚。

最终验收要求反馈改变下一动作并经目标重新验证。生成 critique、保存 memory 或增加尝试都是过程指标;环境终局正确、安全约束满足且成本可接受,才是闭环改进。

Verifier 误报率 α=P(y^=fail∣y=correct)\alpha=P(\hat y=fail\mid y=correct) 会让正确输出被反复修改,漏报率 β=P(y^=pass∣y=wrong)\beta=P(\hat y=pass\mid y=wrong) 会让循环过早停止。重复同一相关 verifier 不会自动降低误差,多种独立检查才可能互补。

过程反馈回答步骤是否合理,结果反馈回答终局是否满足。过程信号密集但会奖励表面进展,结果信号稀疏却更接近目标。系统用过程反馈指导搜索,用结果 verifier 决定完成。

可执行诊断包含错误码、资源、位置、期望、实际、状态版本和区分原因的下一动作。没有对象与证据的“更仔细”只是评论。诊断建议仍由策略选择,不能绕过权限。

支付回调重复入账时,终局发现同一 event ID 两条账目。轨迹定位数据库无唯一约束。应用层先查后写仍有并发竞态,风险 verifier 因此选择唯一键与冲突处理。负载测试随后发现死锁,系统保留幂等修复,只改锁顺序。

事实核验初稿把相对提升写成百分点。来源 verifier 打开原论文,数值 verifier 根据基线计算绝对差,反馈只修单位和依赖结论。反思写成“报告提升时核对相对量与基线”,比“不要相信博客”更可操作。

Reflexion 消融应给对照相同尝试数。移除语言反思但保留环境反馈,测反思的边际贡献;保留反思却打乱任务,测作用域污染。否则更多采样本身会提高累计成功。

CRITIC 消融固定初稿与修订模型,分别隐藏工具、observation 或 critique。工具可见但无 critique 时模型可能直接修订;有 critique 无可靠工具时仍会自洽出错。条件分离才能定位收益。

Verifier 反例包括硬编码公开测试、伪造网页成功横幅和多个转载同一错误来源。隐藏测试、后端状态与独立原始来源用于揭示捷径。“可执行”只说明检查能运行,不说明覆盖充分。

反馈冲突进入争议状态。编译通过但静态分析拒绝时检查规则版本;两个数字不同则检查口径和时间。模型不能挑选更有利结果,硬冲突未解决就阻止完成。

语言反馈有版本与作用域。一次超时不能沉淀成“工具不可用”,应记录时间、暂时错误和查询条件。工具升级后旧反思失效,用户更正后旧版本退出默认上下文。

生产监测将反馈利用定义为后续动作发生相关改变,并检查 verifier 是否改善。只生成反思而动作不变是未利用,动作改变但结果更差是错误利用。两者比反思长度更能诊断系统。

停止质量也要评测。正确停止包括目标通过、证据不足、权限阻塞和预算终止;错误停止包括过早完成和可恢复时放弃。无限尝试同样失败,因为成本和副作用失控。

完整系统必须回答:哪个事实触发判断,哪个动作最早偏离,下一步改变什么,之后用什么重验。Reflexion、CRITIC 与 verifier 是不同实现,不应压成统一的“自我反思”标签。

Verifier 组合还要考虑条件依赖。编译失败时无需运行昂贵端到端测试,引用链接打不开时无需先评价文字风格。检查图按前置条件调度,失败尽早返回;所有硬门通过后才执行软质量评分。这样减少成本,也让反馈更聚焦。

结果反馈可以分解为向量 f=(fcorrect,fsafe,fcomplete,fcost)f=(f_{correct},f_{safe},f_{complete},f_{cost})。正确但越权的轨迹不能因平均分较高而通过,安全项作为硬约束;完整性不足可触发补充动作,成本超限则阻止继续搜索。多维反馈保留权衡,不把不同失败压成标量。

过程 verifier 需要避免泄漏未来答案。训练或评测时若反馈直接给出正确动作,测到的是复制能力。反馈应提供可由环境获得的反例和约束,让策略完成修正。对照可加入“只给错误标记”和“给完整答案”两个上限,定位诊断信息的贡献。

自我修正还会发生 oscillation:第一次把 A 改成 B,下一 verifier 又要求改回 A。系统比较状态与反馈版本,检测周期并停止,随后请求独立证据。盲目选择最新 critique 会在两个有偏评审间来回消耗预算。

代码案例中,格式化 verifier 与快照测试可能冲突:格式化改变输出空白,快照拒绝。诊断先确认快照是否把无意义空白当成契约;若是,则更新快照需要用户或测试所有者授权,模型不能为了绿色结果自行修改验收标准。

网页动作的 verifier 要读取后端状态。点击“保存”后按钮禁用不能证明数据已经持久化,刷新或 API 查询才能确认。响应丢失时进入未知提交,正确反馈要求查询记录,禁止直接重复点击。这个规则把反馈闭环与幂等执行连接起来。

研究回答的 verifier 逐句检查主张与来源。来源相关但不直接支持、时间过期、引用多个转载同一原文,都使用不同错误类型。修正器可以缩小主张、换来源或标注时间,不能用增加引用数量掩盖证据不足。

反思写入前做反事实审查:如果按该规则修改,当前失败是否会消失,是否会破坏已通过节点。无法回答时保留为候选假设,不进入跨尝试默认记忆。经过多个独立任务支持后,才扩大作用域。

消融报告每轮累计曲线。某方法第一轮较差、三轮后较高,说明依赖恢复;另一方法首轮高但后续不改善,可能反馈无效。平均最终分隐藏了学习速度与额外成本。曲线还应标记连续失败停止规则。

人工评审用于开放质量时,给出盲化轨迹和明确 rubric,测评审一致性。模型 verifier 在同一集合上校准,并报告与人工的混淆矩阵。把模型评分直接当真值,会让生成者与评审者共享偏差。

反馈系统本身发生故障时要可见。测试服务超时标为 verifier unavailable,不把候选判错;评审模型拒答标为缺失反馈,不自动通过。Runtime 可以重试或降级,但降级路径与置信度进入终局报告。

最终对照应保持工具、环境、尝试次数、总 token 和停止条件一致。若 Reflexion 额外使用测试生成器,CRITIC 额外使用搜索,成本和外部能力分别列出。只有这样,语言反思、外部证据和额外计算的贡献才能被区分。

生产验收还要抽查反馈文本与动作是否一致。反思声称检查边界条件,后续轨迹却没有新增测试,说明语言输出没有进入控制状态。系统只把可观察的动作变化计入反馈利用率,避免把表达能力误当成修正能力。 反思只有在能改变后继决定时才有价值。固定在每一步追加“检查一下”会增加文字和延迟,却未必发现新证据。触发条件应来自 verifier 失败、预期与观察冲突、连续无进展、高风险提交前检查或预算偏离。

反思输入以事实为中心:当前目标、候选动作、关键 observation、资源版本、失败分类和剩余预算。把整段自由推理再次交给模型,容易让它围绕原叙事自洽。独立证据和结构化差异更有机会打破确认偏差。

验证分为语法、局部语义、环境效果和任务终局。JSON 可解析不代表参数正确,工具返回成功不代表环境目标满足,局部测试通过不代表用户路径成立。每一层有不同 verifier,结果不能压成一个布尔值。

verifier 必须尽量独立于被验证产物。代码 Agent 无权修改隐藏测试,网页 Agent 通过后台记录确认提交,研究 Agent 的引用检查打开原始来源。若策略能同时生成答案和评分依据,奖励黑客会把漏洞当捷径。

验证器也可能出错。假阳性接受未完成或投机结果,假阴性拒绝等价正确方案。测试集包含已知正例、错误例、等价变体和攻击样本;verifier 升级后回放历史产物,比较判定变化与人工裁决。

过程 verifier 适合尽早发现错误,但容易把中间代理指标当最终目标。例如奖励“调用了测试工具”会诱导无意义测试,奖励“引用数量”会鼓励堆转载。过程信号要通过消融证明能提升终局且没有增加投机。

自我反思与独立 critic 有不同相关性。同一模型重新阅读自己的输出,可能重复相同盲点;换提示或采样能增加多样性,却不保证独立。确定性检查、环境执行和异构模型可以提供不同证据,成本与权限也更高。

反思产物应是可执行修订:指出哪个假设被何种证据否定、哪个计划节点失效、下一动作怎样区分候选原因。泛泛写“需要更谨慎”不能改变状态,也无法评测。修订引用事件 ID,使后继能核对。

考虑一个研究任务:初稿称某软件当前默认启用某功能,依据是一篇两年前博客。引用 verifier 打开最新官方文档,发现功能现为可选。反思不只是改掉一个词,还要识别时间失配,重新检查所有依赖同一旧版本的主张。

系统更新主张—证据图,旧博客保留为历史背景,当前结论引用新文档。若二者实际针对不同版本,最终文本明确条件,而非简单用新来源覆盖旧来源。验证推动的是证据结构修复。

另一个代码案例中,测试失败显示超时。第一次反思假设机器慢,提议增加等待;Runtime 检查发现事件从未发出。反事实验证手动触发事件后测试稳定通过,根因转向状态通知,而非时长。结构证据阻止了常见的 sleep 补丁。

反馈学习把这些轨迹转成数据前需要归因。成功修订可能来自反思,也可能来自额外工具、更多 token 或人工提示。配对实验在相同前缀下比较有无特定反馈,才能估计机制贡献。直接收集所有成功后半段会混入选择偏差。

监督数据可保存失败 observation 与正确修订动作,偏好数据比较原动作和经验证改进,强化学习使用独立环境回报。三者都记录生成策略、工具版本和 verifier;缺少元数据时,旧接口错误会被误学成普遍行为。

反馈循环要防止 evaluator overfitting。团队长期针对固定测试调整模型,测试集逐渐成为训练信号。保留封闭集、新鲜任务和对抗变体,限制详细反馈暴露。公开 benchmark 高分不能单独证明真实泛化。

稀疏终局失败需要分层归因。定位首次偏离后,只把受影响动作与恢复段作为重点样本;把同一负奖励复制给整条长轨迹会惩罚此前正确步骤。价值函数、step verifier 或反事实重放可以提供更细信用,但各自会引入偏差。

反馈记忆具有有效期。一条“某工具经常超时”的经验可能随服务升级失效,不能永久影响选择。运行统计绑定时间和版本,策略使用前核对当前状态。个人项目经验也不自动推广到所有仓库。

人在环反馈需区分偏好、事实修正和授权。用户喜欢简短答案属于偏好,指出文件版本错误属于事实,批准发布属于一次性能力。混在一条文本记忆里,会让后续任务误用授权或把偏好当硬规则。

反例是用最终答案的流畅度 judge 工具执行。模型可以给未完成任务写出可信总结,judge 又偏爱相似文风,形成假阳性。环境终局始终优先,judge 只评价无法形式化的开放维度,并在人类集上校准。

另一个反例是无限 critique-revise。每轮模型都能找到措辞改进,任务永不停止。系统设置完成谓词、最大修订次数和最小预期增益;关键事实与安全缺陷优先,纯风格变化在达到门槛后停止。

反馈成本包括额外模型调用、验证环境、人工时间和延迟。比较无反思、按触发反思和每步反思,在相同总预算下测终局。按触发策略若保持成功并降低调用,说明控制器有效;只看单次质量会忽略吞吐。

线上监控记录触发原因、反思是否改变动作、改变后是否成功、引入的新错误和成本。大量反思未改变任何决定,说明触发过宽;频繁在不可逆动作后发现问题,说明验证位置过晚。

反事实重放是诊断反馈价值的工具。从反思前检查点分别注入原动作、修订动作和 oracle 动作,多次续跑比较成功概率。修订优于原动作说明反馈有用,与 oracle 差距则揭示仍未解决的能力。

安全反馈不能只靠奖励。模型即使在训练中学会通常拒绝越权,部署 Runtime 仍需权限硬约束。反馈用于提高正确请求和解释,执行器保证错误策略无法突破边界。高奖励不能交换不可接受风险。

成熟反馈系统形成可验证闭环:环境产生证据,verifier 给出结构化判定,归因定位可修复层,策略据此调整,独立复测确认效果。反思文字只是其中一个计算步骤,真正价值体现在状态和终局变化。

验证结果应包含判定、证据、适用版本和置信度。单一错误字符串无法告诉策略哪些产物仍有效。编译失败可能只影响一个模块,引用错误可能只影响一个主张;结构化范围让计划局部失效,避免整条任务重做。

多个 verifier 冲突时,系统不按数量投票。先检查它们是否评价同一谓词和版本,再比较权威性。隐藏测试与静态规则可能对动态行为给出不同结论,人工裁决也应引用环境证据。冲突本身成为待解决状态。

反馈延迟会影响信用。外部业务指标可能几天后才出现,期间模型和环境已经变化。日志保存当时策略、动作和上下文版本,离线回收结果时按因果 ID 关联。无法确定归因的长期指标用于监控,不直接训练具体 token。

负面反馈要区分不可行与未探索。权限拒绝说明当前主体不能执行,不代表目标永远无法完成;搜索无结果说明当前查询未找到,不证明事实不存在。错误标签若过度绝对,模型会学会在可恢复状态提前放弃。

正面反馈也可能来自环境泄漏。测试夹具包含答案、搜索缓存直接返回 benchmark 补丁、人工在后台修复任务,都会产生伪成功。训练前重放轨迹并核对效果来源,排除策略未造成的终局。

反馈采样要覆盖失败,而非只保留可展示成功。连续失败提供恢复与停止数据,前提是有正确后继或明确阻塞标签。未经归因的失败直接做负样本,会惩罚无辜步骤并强化错误启发式。

部署后采用影子 verifier 可以评估新规则而不影响用户。比较旧新判定、调查分歧,再逐步启用阻断。高风险规则在离线攻击集和真实历史上验证,避免一次误判大面积拒绝正常任务。

反馈闭环最终应改善可观察指标:更早发现错误、更少重复副作用、更高终局成功或更低成本。若反思评分提高而这些指标不变,系统可能只学会迎合 evaluator 的表达偏好,需要重新审视信号。

反馈策略本身也要版本化。某版触发器、judge 和修订提示共同决定轨迹,升级任一组件都生成新实验条件。历史分数不能在 evaluator 变化后直接纵向比较,需要锚点集或双跑校准。

对于低延迟交互,可把廉价确定性检查放在同步路径,昂贵模型评审异步运行。异步反馈发现高风险问题时撤销尚未提交步骤,并向用户呈现已发生效果。不可逆动作不能依赖事后评审补救,关键 verifier 必须位于提交前。

高质量反思最终表现为更小、更有证据的修改:保留仍正确部分,只修复被否定假设,并运行针对性验证。大段重写虽然显得积极,却扩大回归面,也让反馈的因果贡献无法判断。

当反馈无法给出可执行修订时,系统应明确保留不确定性,转入补充观察或人工判断,而不是生成一段空泛自我批评后继续原动作。可行动性因此也是反馈质量的验收项。