5.2 · 检索器与生成器训练

1. 检索器学习什么

双编码器训练让问题靠近支持文档、远离负例. 损失函数只看到训练批次中的比较, 因而负例质量决定模型学到的边界. 随机负例容易区分, 难以训练细粒度条件.

1.1. 难负例

难负例来自现有检索器的高排名错误, 如同一实体的旧版本、主题相同但条件不符的段落. 它们逼迫模型关注真正区分答案的词和关系.

未标注不等于不相关. 一个问题可能有多份等价证据, 把它们当负例会伤害召回. 训练前可用规则、教师模型和人工抽样清洗.

2. 生成器学习使用证据

2.1. 有用与干扰上下文

训练样本同时放入支持文档与主题相近的干扰文档, 要求模型引用支持内容并忽略干扰. RAFT 采用领域材料构造这类“开卷”样本, 重点是让模型在检索场景中组织证据.

若所有训练样本都有答案, 模型会学会强行作答. 数据应加入证据不足、版本冲突和无答案情况, 并给出对应拒答或比较响应.

训练样本覆盖有用、无用、冲突和缺失证据四类状态. 数据按文档或时间划分, 以降低训练材料进入评测样本的概率.

3. 联合与自反思训练

3.1. 联合目标

早期 RAG 模型把检索文档作为潜变量, 联合优化检索与生成. 工程系统中, 端到端梯度常受索引更新和离散 top-k 限制, 因而分阶段训练更常见.

Self-RAG 将检索需求、相关性、支持性和答案质量等判断编码为生成动作, 让模型在推理时决定是否检索并反思证据. 这些标签的质量直接影响控制行为, 仍需外部评测验证.

4. 数据与发布

4.1. 泄漏控制

按时间、来源或文档族划分数据, 避免同一文档切片跨训练与测试. 合成问题必须追溯到源证据, 未来版本不能进入历史评测.

检索器在固定语料上测召回和难例, 生成器在固定上下文上测忠实、引用和拒答, 两部分通过后进入端到端联调. 模型升级还要检查延迟、索引重建成本和旧阈值失效.

训练只有在数据稳定、错误类型明确时才值得投入. 语料缺失和权限问题不能靠微调解决, 召回不足也不应由生成器猜测填补.

静态 RAG 为所有请求执行相同流程, 但查询难度和知识需求差异很大. 有的问题不需要外部知识, 有的问题一次召回即可, 多跳问题需要根据中间实体继续搜索. 训练与自适应路线研究三件事: 检索器怎样学会相关性, 生成器怎样在噪声候选中使用证据, 控制器怎样决定何时检索和停止.

三类学习信号不能混用. 检索相关性标签监督 $s(q,d)$ ;答案和引用监督生成器 $p(y\mid q,E)$ ;是否检索、证据是否充分与继续搜索的反馈监督控制策略. 用户点踩最终回答只说明端到端体验失败, 未经归因不能直接当作某一组件的负样本.

5. 训练对象与数据构造

双编码器常用对比目标, 让正文档相对负样本得分更高. 随机负样本训练早期有用, 高排误召、同实体不同版本、数字接近和否定相反的难负样本更接近生产边界. 负样本挖掘依赖当前检索器, 模型更新后需要重新检查其分布.

生成器训练可以提供 oracle 证据和干扰证据, 让模型学会抽取支持内容并忽略噪声. RAFT 属于这一方向. 它改善证据使用, 不会自动提高线上召回. 训练时若 oracle 总在固定位置或答案原样出现, 模型可能学习捷径.

Self-RAG 用 reflection tokens 表达是否检索、证据相关性、回答支持度和整体效用. 推理时可以根据这些 token 选择路径或调整得分. CRAG 则先评价检索结果, 在低置信条件下触发纠正和额外搜索. 两者都让流程从固定 DAG 变成依赖当前状态的策略.

自适应策略要受外部预算和安全约束. 模型认为无需检索, 产品仍可对高风险问题强制查证;模型希望继续搜索, 系统也要在调用、延迟或 token 预算耗尽时停止. 控制决策进入 trace, 才能区分检索器失败与控制器过早停止.

5.3. 反馈回流

反馈先归因到语料、召回、排序、上下文、生成、引用或表达. 点击带位置偏差, 用户接受回答也不等于事实正确. 人工修正可形成证据和命题标签, 自动 verifier 可扩大覆盖, 但要定期与人工结果比较.

线上更新采用离线回放、影子流量和小比例实验. 新 embedding 要重建索引, 新切分器改变片段身份, 新生成器改变上下文利用. 一次只发布一层更容易定位回归;联合训练则要保留每个中间输出的评测.

Self-RAG 与 RAFT 比较两条代表路线: Self-RAG 改变推理时检索和自评控制, RAFT 改变生成器在 oracle 与干扰文档上的训练. 页面也会把检索器对比学习、难负样本与反馈归因接入同一状态图.

新方法如果主要改变 query-document 得分, 归到检索训练;改变证据使用, 归到生成训练;改变是否检索和何时停止, 归到控制策略. 这种分类不会因为一个系统同时使用三类组件而失效.

6. 学习对象与部署成本

检索器学习查询与文档的相对排序, 训练样本的核心是正负文档. 生成器学习在给定证据集合时产生受支持答案, 样本还要包含证据位置和引用. 控制器学习是否检索、是否继续以及何时停止, 样本是状态、动作和结果. 三种数据虽然可以来自同一次请求, 监督目标并不相同.

端到端奖励可以同时影响多个模块, 归因难度也随之增加. 一个回答错误可能由召回缺失造成, 如果只惩罚生成器, 模型会尝试用参数记忆补全. 联合训练前先保证每个模块有独立基线与指标, 训练后继续报告中间输出.

检索难负样本从当前高排误召中挖掘, 生成训练的干扰文档应接近线上候选, 控制训练还要覆盖无需检索、多跳和无答案状态. 同实体不同版本、数字接近和否定相反能暴露证据判断边界. 随机噪声只能作为容易层.

训练数据绑定语料快照. 文档更新后, 旧正样本可能变成历史证据或错误版本. 时间切分能测试方法对新知识的适应, 也防止同一文档改写泄漏到训练和测试. 自动生成问题需要抽查实体、答案和证据的一致性.

6.3. 自适应控制的成本

固定 RAG 的调用数可预测, 自适应策略产生分支. 每个状态记录检索次数、候选数、生成 token、外部调用和停止原因. 质量提升要与平均和长尾成本同时报告. 多轮搜索若只提高容易问题, 不足以抵消高峰延迟.

外部预算强制限制最大轮次和总 token. 模型输出继续检索动作不代表一定执行, 权限、速率和安全策略仍在控制器外层. 超时后可以用现有证据部分回答或拒答, 不能丢失已经通过验证的来源.

人工反馈先标错误层级. 语料缺失进入摄取队列, 召回漏失进入检索训练, 候选完整但误用进入生成训练, 过早停止进入控制数据. 同一请求可以产生多个标签, 但不能只用一个总体好坏覆盖它们.

点击和停留时间受排序位置、界面和用户耐心影响. 行为数据用于采样和发现模式, 事实标签仍由来源与人工确认. 在线学习需要探索时, 探索范围不能突破权限与安全门.

更新后的模型先离线回放, 再影子运行. 指标达标后小比例放量, 同时监控分布和成本. 回滚保留模型与索引兼容组合, 新模型产生的数据不自动污染旧训练集.

6.5. 版本、来源与部署偏移

训练资产记录语料、切分器、检索器、critic、生成器和控制阈值. 新 embedding 需要重建索引, 新生成器会改变同一证据的利用方式. 实验先固定其他组件比较目标模块, 再做端到端确认.

离线数据按时间与来源隔离, 自动构造的 query、答案和证据需要抽样核对. 发布前在影子流量观察检索轮数、停止原因和成本, 达到质量与预算门槛后逐步放量.

自适应策略的回滚不仅包含模型权重, 还包括触发阈值、最大轮次和外部搜索配置. 回滚不恢复已经撤销的权限与文档, 安全状态在所有版本上继续生效.

Karpukhin et al., DPR, 2020.
Asai et al., Self-RAG, 2023.
Yan et al., CRAG, 2024.
Zhang et al., RAFT, 2024.

训练后分别固定候选、固定控制动作和固定生成器做三组回放. 固定候选测证据使用, 固定控制测检索质量, 固定生成器测策略路径. 三组结果与端到端指标一起保存, 避免最终提升掩盖组件退化.

线上观察无需检索问题的额外调用率、多跳问题的过早停止率、无答案问题的循环次数以及各路径 P99 成本. 只有在质量—成本曲线上形成稳定优势, 自适应策略才进入默认配置.

7.3. 联合训练、对齐与部署偏移

7.3.1. 学习检索与证据使用

2.1. Self-RAG 的控制信号

Self-RAG 让模型学习 reflection tokens, 表达是否需要检索、段落是否相关、生成是否被支持以及回答整体效用. 训练数据由生成器和 critic 产生监督, 推理时 reflection token 可用于筛选或加权不同生成路径. 与固定每次取 $k$ 段相比, 它把检索调用和证据判断纳入语言模型策略.

代价也很明确. 特殊信号的质量受 critic 影响, 推理路径增加检索与评分开销, 控制阈值改变质量—成本权衡. 即使模型判断「不需要检索」, 高风险任务仍可由外部策略强制检索. 模型控制与产品约束是两层状态, 不能由一个 token 覆盖权限和合规要求.

2.2. RAFT 的噪声训练

RAFT 构造带 oracle 文档和 distractor 文档的领域训练样本, 训练模型利用支持证据回答. 模型看到候选中的噪声, 学会从上下文识别有用内容. 它主要改善生成器使用证据的能力, 对线上召回器没有直接保证. oracle 缺席时, 再强的生成器也无法引用它.

训练数据要覆盖无答案、冲突和时效问题, 否则模型容易形成「上下文里一定有答案」的偏置. distractor 也不能只用随机无关文档, 应包含同主题不同版本、局部相关但缺少条件、数字接近和结论相反的难例. 这些样本正好对应线上最危险的误用方式.

7.1. Oracle 与 distractor

RAFT 样本包含问题、oracle 文档、若干 distractor 文档和带依据的答案. Oracle 能够支持答案, distractor 模拟检索候选中的噪声. 模型训练时识别 oracle 并利用证据, 比只用问题—答案 SFT 更接近部署输入.

Oracle 必须来自证据标注. 用答案字符串是否出现来筛选, 会漏掉释义和多跳支持, 也会把碰巧含同一字符串的文档当成 oracle. 对政策和时间问题, 旧版本可以成为高质量 distractor, 标签必须绑定语料时间.

Distractor 的难度要分层. 随机文档检验模型能否忽略明显噪声;同主题文档检验细粒度相关性;同实体不同数值、否定或版本检验条件判断. 训练集只有随机噪声, 模型面对线上高排误召时仍可能复制错误内容.

7.2. 推理依据与引用

训练答案可以包含从证据到结论的推理依据. 是否向用户展示完整 CoT 与训练格式是两件事. 监督要让模型找到关键跨度和限定条件, 部署输出可以只保留简洁解释与引用. 多个 oracle 共同支持结论时, 标签记录证据集合, 不强迫模型选择单一来源.

训练候选数量和部署差异过大, 会造成分布偏移. 部署候选很多而训练几乎全是 oracle, 模型容易复制前排;部署证据很少, 过多 distractor 训练可能让模型过度怀疑. 数据配比应参考线上候选相关等级.

RAFT 改善生成器利用候选的能力, 线上召回仍需独立验收. Oracle 没有进入候选时, 模型没有依据可用. 这一边界是区分检索训练与证据使用训练的关键.

7.3.3. 联合训练的梯度边界

9.1. 文档作为潜变量

原始 RAG 将检索文档 $z$ 视作潜变量. RAG-Sequence 的形式为:

p(y\mid x)=\sum_{z\in\operatorname{top-k}(p_\eta(\cdot\mid x))}p_\eta(z\mid x)p_\theta(y\mid x,z).

$p_\eta$ 是检索器, $p_\theta$ 是生成器. 文档边缘化让答案损失影响检索概率, top-k 截断意味着只有候选中的文档获得信号. RAG-Token 允许不同输出 token 对文档分布边缘化, 表达更灵活, 计算也更复杂.

现代 LLM RAG 常冻结两端, 用索引和 prompt 连接. 模块化降低训练成本, 也让答案损失无法直接修正检索器. 重新联合训练时要保留独立检索指标, 防止生成器凭参数记忆绕过证据后仍获得低损失.

9.2. 版本与 tokenizer

检索器和生成器可以使用不同 tokenizer. 文档切分长度要分别考虑 embedding 限制和生成上下文, 不能把一个模型的 token 数直接当另一个模型的预算. 更新检索器后重建向量索引;更新生成器后, 同一证据集合的利用也可能变化.

训练资产记录检索器、生成器、critic、切分器和语料版本. 联合实验先固定其他组件比较目标模块, 再做端到端确认. 同时更新全部模块即使分数上升, 也无法形成可复用结论.

11.1. 反馈先归因

用户点踩可能来自语料过期、检索遗漏、上下文噪声、生成误读、引用错误或表达不合适. 标注界面尽量记录原因. 语料问题进入摄取队列, 召回问题形成 query-document 样本, 证据误用进入生成训练, 控制错误形成状态—动作样本.

点击与停留时间受位置和界面影响. 高排来源更容易被点, 未点击来源不一定不相关. 行为信号用于发现样本与估计体验, 不能未经校正直接作为事实标签. 高风险样本由来源与人工确认.

11.2. 影子运行与回滚

新策略先离线回放, 再在影子流量上产生决策但不影响用户. 比较检索次数、路径分布、证据覆盖和成本. 达到门槛后小比例放量, 并为长尾调用设置熔断.

回滚包含模型、reflection token 配置、evaluator、阈值、最大轮次和外部搜索源. 新版本产生的反馈保留版本标签, 不直接混入旧策略训练集. 文档删除和权限变化在回滚前后都继续生效.

自动生成 query 时, 检查答案是否由指定 oracle 支持、问题是否泄漏答案、distractor 是否真的不支持结论. 多跳样本还要验证各跳能够连接, 不能把几篇分别相关的文档拼成虚假证据链.

训练集按来源和时间去重. 同一文档的改写问题不能横跨训练与测试. 自动标签、人工修正和模型版本一起保存, 方便标签策略变化后重新构造.

训练完成后先在固定候选上测证据使用, 再接真实检索器. 如果固定候选改善而端到端无变化, 瓶颈仍在召回或控制;如果端到端提高但支持率下降, 模型可能增加了无依据补全.

7.4. RAG 潜变量目标与部署偏移

Lewis et al. (2020) 把检索文档 $z$ 作为潜变量. RAG-Sequence 对整段输出共享文档分布: $p(y\mid x)=\sum_{z\in top-k}p_\eta(z\mid x)p_\theta(y\mid x,z)$ ; RAG-Token 在每个输出位置重新边缘化文档. 两式都说明 retriever 与 generator 的目标通过答案似然连接, top-k 截断之外的文档没有梯度贡献.

部署时的语料、ANN 索引和候选深度若与训练不同, 联合目标学到的分布会偏移. 训练用精确搜索、部署用近似搜索时, 需要比较 exact 与 ANN 候选; 训练总有正例、线上存在无答案时, generator 还需单独学习拒答. 新版本文档和时间外实体采用独立切片评测.

负例也要贴近部署错误. 随机负例训练主题区分, 高排名 hard negatives 训练条件、版本和实体区分; 假负例会把等价证据推远. 一批样本中若正例得分 2.0, 三个负例为 1.5、0.2、-0.4, softmax 对比损失主要受 1.5 的难负例影响. 这正是在线高排名错误更有训练价值的原因.

发布前分三段验证: 固定语料测 retriever, 固定上下文测 generator 的忠实、引用与拒答, 完整链路测联合收益、延迟和成本. RAFT 构造中的 oracle 文档、干扰文档与思维过程也要绑定源版本, 防止合成答案或未来文档进入测试.

训练收益还要与无需训练的基线比较. 查询改写、混合召回或更强重排有时已经修复主要错误, 微调带来的额外增益可能不足以覆盖数据维护和模型发布成本. 只有当错误稳定落在表示、排序或证据使用行为, 并且高质量监督能够持续取得时, 训练才形成可维护方案.

线上反馈回流前去除权限外正文和用户敏感信息, 再按错误层标注. 点击与点赞属于弱信号, 不能直接当正负例; 人工纠错、命题支持判断和明确的候选偏好更适合进入训练. 每批数据保存来源、生成器和标注规则版本, 使模型退化能够追到具体数据变化.

训练与部署采用同一任务契约和证据版本口径.

检索器的基本目标可以从批内对比损失开始。对问题 $q_i$ 、正证据 $d_i^+$ 和负证据集合 $N_i$ ，双编码器最小化

L_{ret}=-\sum_i\log\frac{\exp(s(q_i,d_i^+)/\tau)}{\exp(s(q_i,d_i^+)/\tau)+\sum_{d^-\in N_i}\exp(s(q_i,d^-)/\tau)}.

温度 $\tau$ 控制分数差异，负例集合决定模型究竟学习主题区分还是条件区分。随机负例多来自完全不同主题，损失很快接近零；从 BM25 或旧模型前列采出的难负例，往往主题相同但版本、地域、主体或否定条件错误，才迫使表示保留决定答案的细节。难度不能无限提高：若所谓负例其实能支持答案，梯度会把正确证据推远，因此采样后要做去重、来源核验和假负例标记。

一个数值批次中，正例分数为 0.72，三个负例为 0.20、0.55、0.68，取 $\tau=0.1$ 。分母经指数放大后主要由 0.68 的难负例贡献，正例概率约为 $e^{7.2}/(e^{7.2}+e^{2.0}+e^{5.5}+e^{6.8})\approx0.58$ ，单样本损失约 0.54。若只保留 0.20 的随机负例，概率接近 0.994，损失约 0.006，模型几乎得不到区分信号。这个计算也解释了为何“负例越多”不是结论；新增一千个太容易的负例可能不如一个经过核验的近邻。

交叉编码重排器可以用 pointwise 二分类、pairwise 间隔或 listwise 分布训练。排序任务关心同一问题下的相对次序，常用 pairwise 损失 $L_{rank}=\log(1+\exp(-(s^+-s^-)))$ 。若正例 1.7、负例 1.2，损失约 0.47；将差距拉到 2.0 后降至约 0.13。listwise 还能表达一组证据中的多级相关性，但标注必须区分“主题相关”“包含局部事实”“足以支持命题”，否则模型会把背景介绍排在真正依据之前。

生成器的监督对象是条件分布 $p_\theta(y\mid q,E)$ ，但只在干净正证据上做交叉熵，会让它默认上下文永远完整一致。训练集需要配对构造：完整证据、缺失关键证据、加入主题相近干扰、加入旧版本、加入相互冲突来源。目标输出随条件改变：完整时回答并引用，缺失时指出缺口或拒答，冲突时呈现差异而非任选一方。相同问题跨这些条件成组出现，能减少模型把题面模式直接映射到固定答案。

证据使用目标可拆成生成损失、引用损失和支持损失：

L_{gen}=L_{token}+\alpha L_{cite}+\beta L_{support}+\gamma L_{abstain}.

$L_{cite}$ 约束引用 ID 指向输入中的合法证据， $L_{support}$ 惩罚命题与所引证据不蕴含， $L_{abstain}$ 训练证据不足时的动作。权重不能只凭总答案分数选择。若 $\alpha$ 太高，模型可能每句附上多个引用以刷覆盖；若 $\gamma$ 太高，系统通过大量拒答取得低幻觉率。验证集要同时画答案质量、支持精度和覆盖率—风险曲线。

检索与生成联合目标可写成 $L=L_{gen}+\lambda L_{ret}$ ，但两个模块的梯度含义并不天然一致。生成器偏爱容易续写的文段，未必偏爱最权威证据；若让生成损失直接更新检索器，它可能召回措辞接近参考答案的二手摘要，而不是原始制度。稳妥做法是先分别预训练，再用固定候选池联合微调；需要端到端梯度时，用可微 top-k 近似、策略梯度或蒸馏目标，并保留来源质量与支持标签作为约束。联合训练的收益必须与单独升级检索器、单独升级生成器两条基线比较。

以四个候选为例，检索概率为 $(0.45,0.30,0.15,0.10)$ ，只有第一、三项共同覆盖答案的两个命题。若生成器在只见第一项时损失 1.2，只见第三项时 1.5，两者同见时 0.2，单文档采样目标会偏向第一项，无法学到集合互补。训练应对候选集合建模，或加入覆盖奖励 $R(E)=\sum_m\mathbf 1[\exists d\in E:d\models c_m]$ 。同时加入冗余惩罚，避免 top-k 全是第一项的近重复切片。

训练分布必须逼近部署管线实际产生的候选，而不是只用人工整理的证据。部署中检索器 top-20 可能含 40% 主题相关干扰、20% 旧版本和少量完全无关文本；训练若始终把金证据放首位，生成器会形成位置捷径。应从冻结的生产检索器采候选，保留原始排名与分数，再随机做受控位置交换。检索器升级后要重新采样，因为候选分布已经变化；沿用旧缓存训练新生成器，会把旧系统的错误边界当成现实。

时间切分尤其重要。设文档在 2025 年修订，训练样本的问题来自 2024 年，若直接用当前文档生成“历史答案”，就把未来状态泄漏进监督。每个样本要绑定 as_of 与语料快照，正例只从当时可见版本中选。实体级切分还要把同一制度的相邻段落放在同一侧，否则模型可从训练段落记住测试答案。近重复检测应在切分前执行，不能切完再分别去重。

离线反馈不能直接把用户点赞当正确标签。点赞受语言风格、响应速度和任务难度影响；未点赞也可能只是用户离开。可将反馈分为事实纠错、证据选择、拒答过度、表达偏好，并要求能定位到命题或候选。高置信纠错进入人工核验池，低置信行为信号只用于采样权重。若把所有“继续追问”都视为上一轮错误，复杂任务会被系统性误标。

一个完整消融可固定 1200 个问题，其中 400 个含难负例、200 个证据缺失、100 个版本冲突。基础模型 Recall@10 为 0.78，支持精度 0.81，拒答召回 0.46；加入硬负例后变为 0.86、0.82、0.45；再加干扰上下文训练后为 0.86、0.90、0.63；联合微调后为 0.88、0.91、0.65。若只看答案正确率，无法知道第二阶段的主要贡献来自证据使用而非召回。每阶段还应报告普通题切片，确认拒答训练没有伤害证据充分时的回答率。

上线偏移通过输入、候选和输出三层监测。输入层看领域、长度和时间条件；候选层看分数分布、独有来源、旧版本比例与金证据代理覆盖；输出层看引用有效性、拒答率和人工纠错。发现支持精度下降时，先在固定候选上重放新旧生成器，再让固定生成器读取新旧候选：前者隔离生成变化，后者隔离检索变化。没有这种交叉矩阵，端到端下降会被错误归到最近发布的模块。

发布单元包含查询模板、编码器、索引、重排器、候选采样策略、生成模型和提示模板的版本。回退必须恢复整个兼容组，而不是只切回模型权重。检索器回退而索引仍是新向量空间，会产生不可解释分数；生成器回退却保留新引用协议，会造成格式失败。训练记录保存数据快照、随机种子、负例来源和每个目标权重，使离线结果能够复算，线上差异能够归因。

训练候选的采样概率会改变经验风险。若线上旧版本文档只占候选的 5%，为了让模型学会版本冲突而在训练中提升到 30%，直接平均损失会让模型误以为冲突极常见。需要区分“能力训练分布”和“部署评估分布”：前者可过采样稀有难例，后者按真实比例估计总体指标。需要估计线上风险时，可用重要性权重 $w(x)=p_{deploy}(x)/p_{train}(x)$ 修正，但权重过大会增加方差，因此同时报告各切片原始结果。

生成监督也存在曝光偏差。教师强制训练时，模型每一步看到正确前缀；推理时一次错误引用会成为后续前缀，可能引出更多错误。可加入模型自产生轨迹，并由命题支持检查器标出第一个偏离点，训练模型在发现无合法引用时停止或修正。不能把整段失败答案都当负例，因为前半段可能完全正确；细粒度动作标签能避免模型把有效表达一并压低。

检索器更新频率与索引更新频率必须匹配。新编码器若只编码查询而库向量仍来自旧编码器，离线使用新旧同编码器得到的提升不会在线复现。训练验收包含全量或增量重建后的真实索引查询，并核对向量维度、归一化与距离方向。余弦相似度和内积在向量未归一化时排序不同，这类接口错误无法靠更多训练数据修复。

联合优化还可能发生表示坍缩：检索器为了让当前生成器容易读取，把大量不同问题映射到少数模板化文档。监测同一候选被不同查询命中的集中度、向量各维方差和长尾文档曝光。若 top-1 文档覆盖率异常升高而 Recall@k 未增，说明目标可能利用了数据捷径。加入来源多样性、文档均衡采样和冻结部分编码层只是候选措施，是否采用由独立验证集与消融决定。

一项三阶段实验可以把贡献分清。阶段 A 只训练检索器，固定生成器；阶段 B 固定 A 的候选，只训练生成器；阶段 C 才联合微调。若 A 的完整证据组召回从 0.68 升到 0.79，B 的给定金证据正确率从 0.84 升到 0.90，而 C 的端到端仅从 0.71 升到 0.72，说明联合训练边际很小。若 C 同时让来源权威率下降，则不应因一个百分点继续上线。

领域迁移时先测零样本基线，再决定更新哪一层。新领域术语导致候选漏召，优先补语料、同义词和检索训练；候选已包含正确证据但答案误读表格，更新生成器或结构化读取；两者都差才考虑联合训练。把所有失败统一送进全参数微调，会混合互相冲突的梯度，也失去定位能力。

数据治理要求每条训练样本可追溯到原文版本、构造程序和审核状态。合成问题要验证答案确实由输入证据推出，并与原文时间一致；模型生成的难负例要经过蕴含检查，防止把同义改写当负例。删除或权限撤销的文档不仅从索引移除，也从后续训练快照排除。模型参数无法精确删除单条记忆时，敏感数据原则上不进入训练，而通过受控检索提供。

最终验收同时运行无检索、金证据、生产候选三种条件。无检索条件估计参数记忆与泄漏，金证据条件给出生成器上限，生产候选条件测真实端到端。某模型生产正确率 0.76 看似可用，但若无检索也有 0.75、替换证据后答案不变，说明它几乎没有使用检索；另一模型生产 0.74、金证据 0.91、无检索 0.40，则改进空间主要在召回。三种条件共同解释分数，避免把记忆命中误认作 RAG 能力。