Browse this library

Chinese source article

2.2 · 上下文压缩与状态提交

把压缩视为有损状态变换,统一讨论训练式压缩、证据回源、版本一致性与恢复。

View original Markdown ↗

上下文满了以后做摘要,看起来只是节省 token,实际上是在改写 Agent 此后能够看到的状态。原始轨迹中的一句猜测若被摘要成事实,后续所有动作都会在错误前提上继续;一条已经失效的约束若被保留,系统会与当前目标冲突;文件名保留了却丢掉版本哈希,回源时仍可能读错对象。压缩率高低只能说明文本变短多少,无法说明任务状态是否仍可用。

这条路线把压缩写成映射 z=C(h)z=C(h),其中 hh 是历史,zz 是进入工作上下文的紧凑表示。判断 zz 是否充分,要看后续动作分布和任务回报,而非只看它能否复述原文。与此同时,原始证据不应被 zz 取代:摘要保存当前工作所需的索引与结论,证据存储负责在争议、恢复和精确计算时回源。

1. 压缩发生在状态提交边界

可靠流程会先冻结输入快照,再生成候选摘要,检查目标版本、未决义务和引用索引,检查通过后原子提交。若压缩与工具回调并发,摘要可能遗漏刚完成的动作,或者把尚未验证的结果写成完成。提交记录因此要包含输入范围、压缩器版本、输出哈希和被替代的上下文区间。恢复时可以判断哪次提交完整,哪次需要重做。

训练式压缩与提交链比较固定摘要器、Self-Compacting Agents 和 CompactionRL 一类训练路线。训练式方法让后续任务奖励影响压缩策略,却仍然面临稀疏反馈和信用分配:终局成功无法直接指出某条摘要句子为何重要,压缩器也可能学会迎合特定验证器。

2. 保留什么是一道率失真问题

不同任务对丢失信息的代价不同。闲聊措辞可以高度压缩,数学推导中的条件、代码中的接口和外部操作的幂等键则可能一个字符都不能错。可以把 token 预算看成码率,把压缩后策略性能下降看成失真;最优表示随任务、动作空间和恢复方式变化,不存在脱离用途的统一摘要质量。

率失真与可证伪实验从这个角度设计删除、替换、并行合并和恢复实验。评测需要让压缩表示真正参与后续决策,再观察任务成功、回源次数、错误传播与恢复时间。只测摘要相似度容易奖励冗长复述,也测不到版本和权限被丢弃后的后果。两篇文章合起来回答一个实际问题:窗口有限时,怎样减少可见文本,同时仍让每个关键结论能够追到证据、每个未完成义务能够继续执行。

3. 压缩后的三个出口

历史内容压缩后通常进入三个不同位置。当前计划和未决约束进入工作上下文,让模型下一轮直接使用;已经确认但不常访问的事实进入结构化状态,通过稳定键检索;原始工具输出、论文和日志留在证据存储,需要精确数字或发生争议时回源。三者的保留周期和校验方式不同。工作上下文追求相关与紧凑,状态记录追求版本和不变量,证据存储追求完整与可追溯。把它们塞进一段万能摘要,会同时损失可读性、精确性和恢复能力。