3.1 · 指标、任务顺序与比较口径

持续学习的结果不能压成一个最终平均分. 一个方法可能通过强约束保住旧任务, 却几乎学不会新任务;也可能阶段末恢复得很好, 训练过程中先出现不可接受的性能坍塌. 任务顺序、超参数选择和测试可见信息稍有不同, 同名指标也会失去可比性. 本路线先把行为量定义清楚, 再讨论统计比较.

设 $a_{i,j}$ 是学完第 $i$ 个任务后在任务 $j$ 上的表现, 所有数构成一个准确率矩阵. 最终平均准确率

\mathrm{ACC}=\frac1T\sum_{j=1}^{T}a_{T,j}

描述训练结束后的总体水平, 却不能分辨一项低分来自从未学会还是后来遗忘. 对角线 $a_{j,j}$ 提供刚学会时的参照, 每列后续变化描述保持, 上三角则显示在尚未训练任务上的迁移.

1. 遗忘、BWT 与顽固性

任务 $j$ 在阶段 $k$ 的遗忘常写成 $f_j^k=\max_{l<k}a_{l,j}-a_{k,j}$ . 它以历史最好值为参照, 能捕捉先提升后下降;如果任务最初就没学好, 遗忘可能很小. 所以低遗忘不能脱离对角线水平解释.

后向迁移通常写成

\mathrm{BWT}=\frac1{T-1}\sum_{j=1}^{T-1}(a_{T,j}-a_{j,j}).

负值表示旧任务最终低于刚学完时, 正值说明后续训练改善了旧任务. BWT 与基于历史最大值的遗忘量参照不同, 数字不能互换. 正 BWT 也需要定位来源: 表征真的迁移、分类头重新校准或更长总训练都可能产生改善.

可塑性应单独报告当前任务学习曲线、对角线成绩或与独立训练的差距. Chaudhry 等提出的 intransigence 用联合训练参照描述新任务学得不够好. 联合训练利用全部数据, 无法作为现实部署基线, 但可以显示稳定机制付出的学习代价. 一项方法同时降低遗忘和顽固性, 说明它找到了更好的共享结构;只改善一端通常是在移动折中点.

2. 阶段末指标漏掉了时间

只在任务边界测试, 会漏掉 stability gap. 新阶段开始后的若干更新可能使旧性能迅速下降, replay 或约束随后把它拉回. 离线实验的阶段末矩阵看起来稳定, 在线系统已经在中间时段输出过错误. 因而每个阶段应按更新步记录旧任务曲线, 报告最大瞬时下降、恢复时间和曲线下面积.

数据流不均匀时, 按任务平均和按样本平均回答不同问题. 宏平均让每项任务同权, 微平均让大任务主导. 长尾场景还应按类别、时间窗口或用户组拆分. 总分稳定可能掩盖少数类完全消失, 也可能掩盖新阶段短期伤害.

对语言模型, 任务矩阵可以扩展为能力矩阵. 每个阶段后测试通用 loss、知识、推理、指令遵循与安全集合. benchmark 分数受提示和解码影响, 因而固定模板、温度、采样数和 TestingTime 预算. 同一模型用更多采样获得更高 pass@k, 不能算持续学习方法本身减少了遗忘.

3. 任务顺序是实验变量

若相似任务相邻, 新梯度可能改善旧表示;若冲突任务连续出现, 遗忘更强. 单一顺序上的最好结果可能来自算法与课程偶然匹配. 随机顺序实验应把同一顺序配对给所有方法, 统计单位是独立顺序与训练种子, 不是每个测试样本.

真实时间流不能任意打乱. 这时应保留原顺序, 再用构造的逆序、按相似度排序和冲突排序做机制分析. 如果方法只在平滑课程上有效, 这一边界本身很重要. 将顺序当作噪声平均掉, 会失去持续学习区别于普通混合训练的核心结构.

超参数不能利用未来任务标签选择. 合法方案包括在已见任务的验证集上更新、用一条独立开发序列调参, 或固定一个跨序列配置. 对每个方法事后挑全程最好值会引入先知信息;搜索网格更宽的方法还获得额外选择优势. 报告固定配置与 oracle 配置之间的差距, 可以量化方法对未来信息的依赖.

4. 从显著差异到机制判断

多次运行给出均值和置信区间只是起点. 方法在同一顺序、同一初始化上运行时, 差值是配对数据;用配对 bootstrap 或层级模型比把所有分数当独立样本更合适. 多个数据集和指标同时比较需要说明多重检验处理, 不能只挑显著的格子叙事.

行为差异还需要机制量解释. 声称正则化减少参数冲突, 就测梯度夹角、重要性覆盖和表示漂移;声称 replay 改善历史分布估计, 就扫描容量与采样策略;声称路由保留旧模块, 就分开 oracle routing 与真实 routing. 机制量变化而行为不变, 说明该变量不是当前瓶颈;行为提升但机制量不变, 说明解释可能找错了地方.

评测协议与指标给出完整手算与任务顺序实验. 读者最终应能从一张结果表追问: 推理时给了什么信息, 超参数何时选择, 新任务是否学会, 旧任务何时下降, 顺序是否配对, 统计单位是什么. 这些问题回答清楚之后, 小数点后的差异才值得讨论.

5. 平均值之外要保留失败分布

持续学习的风险往往集中在少数阶段或能力. 平均 ACC 相同的两个模型, 一个可能在所有任务上略降, 另一个可能让一个早期任务完全坍塌. 最小任务表现、分位数、最大遗忘与每列轨迹能够暴露这种差别. 对安全能力, 最坏组和过度拒答比总体平均更重要.

置信区间的独立单位通常是训练运行或任务顺序, 不是测试集里的每张图片. 测试样本很多会让测量误差很小, 训练随机性和顺序方差仍然很大. 把每个样本当独立重复会产生虚假的窄区间. 配对同一顺序计算方法差值, 再跨运行汇总, 才与实验设计一致.

多步观察还允许计算遗忘速度. 两个方法最终 BWT 相同, 一个早期快速下降后稳定, 另一个缓慢累计, 对线上系统和长期流的意义不同. 用任务年龄而不是绝对阶段对齐曲线, 可以观察能力学会以后经过多少次更新开始退化. 这类时间结构正是单个最终指标最容易丢掉的信息.

最终报告最好保留矩阵而非只保留汇总. 新指标出现时, 原始矩阵仍可重新计算;只有一个 ACC 无法恢复任务轨迹. 对连续流则保存按时间窗口的性能、分布标识与更新次数. 这些数据让后续读者判断差异来自定义、顺序还是算法, 也避免同名「遗忘率」使用不同分母而被放到一起比较.

生成任务还应保留逐样本输出与评分器版本, 因为指标脚本变化也会改变矩阵中的每一个元素.

参考文献

Lopez-Paz, D., & Ranzato, M. (2017). Gradient Episodic Memory.
Chaudhry, A. et al. (2018). Riemannian Walk for Incremental Learning.
De Lange, M. et al. (2023). Identifying the Stability Gap.
Masana, M. et al. (2022). Class-incremental learning: survey and performance evaluation.