长上下文的成本会随序列增长,直接截断又会丢掉远处信息。递推记忆给出另一条路:每轮只保留固定大小的隐状态,让新 token 通过更新函数写入,再由后续层读取。它把计算连续性从显式 token 序列移到模型状态中,理论上可以让服务端以有界缓存处理更长历史。
不过,隐状态、上下文和任务状态承担的是三种职责。隐状态擅长保存对预测有用的统计量,活动上下文承载当前推理需要精确访问的文本,外部任务状态保存目标版本、权限、文件哈希和验收结果。原始证据还要单独留存,以便重新计算和审计。把四层都叫「记忆」,就会误以为一个递推向量能够替代数据库、事件日志和引用系统。
1. 固定状态怎样随序列更新
递推模块通常接收当前隐状态 与新输入 ,通过门控更新得到 。容量固定不等于信息无损,关键在于写入选择、覆盖和读取。训练信号若只来自最终语言建模或任务奖励,模型会优先保留对平均预测最有用的信息,罕见但关键的权限变化可能被覆盖。
LiveMem 架构与训练沿官方架构、两阶段 SFT 与强化学习配方解释递推状态如何进入服务生命周期。它区分单请求内部的状态连续性与跨请求持久化,也核对训练资源、状态复制边界和实验消融。阅读重点是机制实际改变了哪块缓存,以及收益能否归因给结构、数据或更长训练。
2. 有界容量带来的新问题
状态向量把大量历史折叠到有限维度,冲突、不确定性和来源很容易被混成一个确定表示。后续模型可能记得「某结论大概成立」,却失去它来自哪次观察、是否已经过期。多用户服务还要处理状态隔离、释放和复制;一次错误复用就可能把另一个请求的信息带入当前轨迹。
容量边界与状态治理讨论写入、读取与覆盖的可辨识性,设计证据距离、容量压力和干扰实验,并把内部状态放回完整长程系统。适合内化的规律由递推状态保留,需要精确回源的事实由外部索引保留,决定任务是否完成的证据由可审计状态机保留。这种分工比追求一个无所不包的「记忆模块」更接近真实系统。
3. 怎样判断递推记忆真的有用
评测应同时改变证据距离和干扰强度。把关键事实放在不同距离,插入语义相似却不相关的内容,再观察模型能否读取正确信息;随后替换或撤销早期事实,检查状态是否会更新。只测固定事实的远距离回忆,容易把持续复制当成有效记忆。还要比较相同计算预算下的长上下文、检索与递推状态,记录吞吐、首 token 延迟和任务成功。若递推模块只在窗口不足时有收益,这就是明确的适用边界,而非缺点。