3 · 评测与实践

第 2 章引用的数字来自几十篇论文, 它们用的场景, 遍历次数, 骨干, 缓冲区大小, 超参数选法和指标公式各不相同. 两个数字能不能放在一起比, 取决于这些设定是否一致. 这一章把设定拆开: 指标与任务顺序 讨论怎样从准确率矩阵算出指标, 超参数怎样选才不偷看未来, 任务顺序带来多大方差; 基准与机制验证 讨论常用基准怎样切分, 开源框架各做什么, 复现一篇论文至少要跑哪些基线, 记录哪些信息.

1 为什么评测要单独成章

1.1 同一个方法, 不同的协议

持续学习的超参数选择有一个普通监督学习没有的陷阱: 用全部任务的验证集调参, 等于在训练第一个任务时就知道了后面所有任务. A-GEM 论文只用前 3 个任务做交叉验证, 其余任务用于报告; 结果是 SI 在 Permuted MNIST 上用这组超参数训练失败, 三项指标都记为无穷. 若用全部任务调参, 结果会混入未来任务信息, 方法对超参数的敏感性也被最佳配置掩盖. De Lange 等 (2022) 的两阶段框架只用新任务数据: 先在新任务上单独微调, 得到可达的最好准确率 $A^$A∗, 再让方法自身的超参数从最大值开始, 新任务准确率低于 $A^$ 超过阈值 $p$ 就乘以 $\alpha$ 后重来, 论文默认 $p=0.2$, $\alpha=0.5$.

重复次数同样影响结论. 持续学习的方差有两个来源, 随机种子和任务顺序, 后者在普通监督学习里不存在. iCaRL 对 iCIFAR-100 跑了 10 种类别顺序, A-GEM 的图表给出 5 次或 10 次运行的置信区间. 两个方法在同一组种子和顺序上运行时结果是成对的, 用配对检验比较, 比把两组均值和标准差放在一起目测更可靠. 3.1 的第 1 节把这些要求整理成协议.

1.2 两篇的分工

3.1 负责「怎么算」. 它从准确率矩阵出发, 写出 GEM 的 ACC, BWT, FWT, Chaudhry 等的遗忘量与顽固性, A-GEM 的 LCA, 用一个 3 任务的手算例子说明它们何时给出不同结论; 再讨论没有任务划分的流式数据怎样用先测后训评测, Bell & Lawrence 的顺序实验和 APD 的 OPD 指标怎样度量顺序敏感性, 并补充资源指标和 Masana 等在 FACIL 上的类别增量经验.

3.2 负责「在什么上算」和「怎么报」. 它按合成任务序列, 类别增量基准, 真实时序数据和语言模型基准四类介绍数据集的切分, 再比较 Avalanche, Mammoth, FACIL, Continuum 四个框架, 随后给出基线清单和一份按缺项验收的报告模板. 两篇的顺序是先定义量, 再选数据和工具, 复现时按倒序使用: 先填 3.2 的模板, 遇到指标定义再查 3.1.

2 共用记号与指标

2.1 从准确率矩阵出发

本章沿用第 1 章的 $a_{k,j}$: 学完第 $k$ 个任务后在第 $j$ 个任务测试集上的准确率. 平均准确率 $\mathrm{ACC}=\frac{1}{T}\sum_{i=1}^{T}a_{T,i}$ 只看序列结束时的一行; 后向迁移 $\mathrm{BWT}=\frac{1}{T-1}\sum_{i=1}^{T-1}(a_{T,i}-a_{i,i})$ 比较每个旧任务在序列结束时与刚学完时的差; 前向迁移 $\mathrm{FWT}=\frac{1}{T-1}\sum_{i=2}^{T}(a_{i-1,i}-\bar b_i)$ 看尚未训练的任务比基线好多少, GEM 论文的基线 $\bar b_i$ 取随机初始化模型的准确率. 遗忘量 $f_j^k$ 取历史最好准确率而不是刚学完时的准确率作基准, 顽固性 $I_k$ 用联合训练的参照模型衡量学不进新任务的程度.

基准的选择会改变数值. 3.1 的手算例子里, 同一个准确率矩阵算出 BWT 为 $-20$, 平均遗忘量 $F_3$ 为 21: 任务 1 中途因为正向迁移从 90 涨到 92, 后来跌到 75, 遗忘量把涨的那部分也算作遗忘, BWT 不算. FWT 的基线若换成「单独在任务 $i$ 上训练的模型」, 衡量的就是另一件事, 两种 FWT 不能互相比较.

2.2 同名指标, 不同公式

同名指标在不同论文里可能是另一种算法. CLEAR 从同样的准确率矩阵出发, 把 backward transfer 定义为下三角元素的平均, forward transfer 定义为上三角元素的平均, 不减去对角线或基线, 数值范围和含义都与 GEM 的定义不同. 3.2 介绍 CLEAR 基准时专门指回这一点, 引用别人的 BWT 或 FWT 之前, 要先查清用的是哪个公式.

不同指标也会给出不同的排序. A-GEM 论文的表里, PNN 在 Permuted MNIST 上平均准确率最高, 遗忘为 0, 学习曲线面积 LCA 却只有 0.19, 是所有方法里最低的: 它每个任务都新开一列, 不遗忘, 但新任务开头学得最慢. 只报 ACC 会看不到这一点, 所以 3.1 建议 ACC, BWT, 遗忘量一起报, 必要时加上 LCA 或顽固性.

3 基准, 框架与顺序

3.1 常用基准的对照

前两行是最早的一批基准, 规模小, 切分规则简单, 适合比较方法的机制; 它们的问题是同一个名字下有多种切分. 3.2 的第 1 节开头就用 Split MNIST 说明这一点: EWC 在 Task-IL 下 98.64%, 在 Class-IL 下 20.01%, 两个数字都对, 前提是协议写清楚. 第三行的基准随预训练模型流行起来, 起点从随机初始化换成了 ImageNet 预训练的 ViT, 这时骨干的预训练数据是否与后续任务重叠, 成了要单独声明的一项.

后两行更接近部署. CORe50 上存样本的方法彼此相差不到 1 个百分点, ER 为 80.10%, 上界 82.15%, 不存样本的 L2P 为 78.33%, 各方法与上界的差距都小; 同一篇论文在 Split CIFAR-100 上, 不存样本的 EWC 离上界约 44 个百分点. 语言模型一侧, TRACE 除了平均准确率和后向迁移, 还报告通用能力, 指令遵循和安全性三个变化量; TemporalWiki 按月份给出快照和探针, 只在差分数据上继续训练, 困惑度与整个快照上训练相当或更好, 计算量少 12 倍.

3.2 顺序与重复

任务顺序本身就是方差来源. Bell & Lawrence (2022) 按任务之间的距离构造了三类路径: 距离和最小的路径, 最大的路径, 以及随机路径. 距离和最大的路径比最小的路径平均遗忘显著更低, 单侧配对 $t$ 检验 $p=0.008$, 平均降低 0.056; 随机路径与两者没有显著差别. APD 论文的 OPD 取同一任务在 $R$ 种顺序下平均表现的最大值减最小值, 整个任务集上取最大值得 MOPD, 取平均得 AOPD, 两者越低方法对顺序越不敏感.

所以顺序要和随机种子一样在实验前声明. 3.1 的建议是预先定好若干随机顺序, 公开顺序和种子, 报告均值和标准差, 最差顺序单独列出. 按时间排序的实验属于例外, CLEAR 的年代顺序, TemporalWiki 的快照顺序由数据本身给定, 打乱就成了另一个问题. 框架能帮忙固定这些设定: Avalanche 的资源指标和准确率出自同一个评测器, FACIL 把 Masana 等的类别增量比较整套开源; 3.2 的第 4 节比较了四个框架, 并提醒使用时要锁定版本.

3.3 从封闭标签走向开放能力

准确率矩阵默认每个任务都有固定测试集, 输出也能判成对或错. 大模型的能力集合没有这么整齐. 一条指令可能同时调用事实记忆、格式遵循、推理、工具使用和安全判断; 新一轮训练提高了领域答案质量, 也可能让模型更啰嗦、格式更不稳定, 或在无关请求上过度触发新能力. 因此可以保留矩阵结构, 但矩阵单元不再只放一个准确率. 对每个评测族记录任务成功率、生成质量、校准误差、拒答与资源开销, 形成带多个观测量的 $a_{k,j}^{(m)}$. 指标 $m$ 的 BWT 只与同口径历史值比较, 不把安全下降和知识提升压成一个难以解释的总分.

开放能力集合还会增长. 第五轮更新后出现的新工具任务, 在第一轮模型上可能根本没有可执行接口, 此时 FWT 的基线必须说明是随机模型、旧模型零样本表现, 还是拥有接口但没有学习任务的控制模型. 三种基线回答的问题不同: 随机模型衡量从头获得了多少, 旧模型衡量既有能力能否迁移, 接口控制组则分离格式暴露与知识迁移. 若未来任务在早期连输入 schema 都不存在, 给上三角矩阵填零会人为制造负迁移; 更合适的做法是标为不可观测, 在接口出现后再建立可比基线.

生成评测需要把评分器也纳入协议. 精确匹配适合答案唯一的短题, 对摘要、解释和代码修改则会漏掉大量正确表达. 模型裁判能覆盖开放答案, 但它对提示顺序、候选长度和自身版本敏感; 人工评分更接近实际质量, 成本与评审差异又更高. 可将可自动验证的部分交给执行器或规则, 对其余样本采用盲化的人机评分, 并公开评分量表、裁判模型版本、提示、候选随机顺序和人工一致性. 同一组输出固定后重新评分, 可以把生成方差与评分方差拆开. 若持续训练同时改变答案长度, 还要检查裁判是否把更长误当成更好.

安全保持具有非对称代价. 普通能力下降几个百分点可能意味着体验变差, 高危请求的越权率上升几个百分点却可能越过发布边界. 安全指标因此更适合设硬门槛并报告置信上界, 而非与新域收益线性加权. 同时保留过度拒答集, 防止模型靠拒绝所有请求获得漂亮的安全分数. 一轮完整测试至少覆盖明确有害请求、语义改写、长上下文诱导、无害近邻与正常领域任务; 前三类看防线是否退化, 后两类看防线有没有扩张到正常能力. 安全题长期用于调参后也会变成开发集, 需要轮换密封变体.

3.4 边界、预算与可复现结论

任务边界是否可见决定了方法拿到了多少额外信息. Task-IL 在推理时提供任务编号, 路由器可以直接选择输出头或 adapter; Class-IL 只给输入, 所有旧类与新类共同竞争; 流式数据甚至没有明确的训练切换点. 一个依赖边界重置优化器、扩展模块或挑选记忆的方法, 不能与完全无边界的方法只按准确率排名. 协议要写清训练时和推理时各自可见的信息, 边界来自人工标注、时间窗口还是漂移检测器, 检测延迟与误报也应计入结果.

资源预算会改变「最优方法」. 回放方法的关键资源包括原始样本、特征、生成样本与索引元数据; 参数隔离方法消耗每任务新增参数; 大模型持续预训练还消耗训练 token、峰值显存和验证算力. 两个方法若一个保存五万真实样本, 另一个只允许五百个, 准确率差不能直接归因于算法. 公平比较至少给出等存储、等训练 FLOPs 或等 wall-clock 中的一种匹配视角, 并把未匹配资源逐项列明. 推理侧还要记录延迟、激活模块数、KV cache 与检索开销. 训练便宜但每次请求都加载多个模块的方案, 总成本可能在长期服务中反转.

统计区间要对应真正独立的变化来源. 同一个 checkpoint 上的一万道题只能估计测试样本抽取误差, 无法估计重新训练的方差. 随机初始化、数据顺序、任务顺序和生成采样分别形成不同层级. 对同一批顺序与种子比较两个方法时, 使用配对差值; 时间序列固定时, 不把相邻月份当作独立随机顺序. 报告均值之外还应给最差顺序、逐任务差值与区间. 当方法只在一两个顺序上占优, 平均值可能掩盖部署时遇到坏顺序的风险.

污染会同时抬高当前能力与所谓前向迁移. 预训练模型可能见过后续基准, 新一轮语料也可能包含测试题、答案解析或近义改写. 哈希去重只能发现完全重复, 还需检查规范化文本、长片段重合、语义近邻和时间戳. 对无法审计预训练数据的闭源或大规模底座, 可以使用训练截止日之后构造的样本、带随机映射的合成任务和私有密封集, 再把结论限定在这些证据覆盖的范围内. 骨干之间的污染程度不同, 用同一公开榜单比较持续学习算法时尤其要谨慎.

3.1 与 3.2 共同闭合实验链条. 公式决定日志里需要保存哪些时刻的结果: 没有 $a_{i,i}$ 就算不出 GEM 的 BWT, 没有历史峰值就算不出遗忘量, 没有学习初期的密集采样就无法估计 LCA. 数据切分和框架实现又决定这些量是否真的可比: 测试时提供任务标签、多遍训练旧任务或在全序列上调参, 都会改变矩阵的含义. 反过来, 复现模板若只写模型与数据集名称, 没有记录顺序、边界、预算和评分器版本, 再精确的公式也无法恢复论文结果. 「协议」与「工具」在这里是一套实验的两半, 任一侧缺失都会让数字失去上下文.

可复现不等于同一个脚本再次输出同一个数. 更强的复现要求另一环境能从数据清单、版本哈希、顺序文件、配置和评测日志重建结论, 并知道允许的数值误差来自哪里. 深度学习算子的非确定性、不同硬件和框架版本会带来小幅漂移; 若方法排名依赖千分位差异, 应增加独立运行并报告区间. 保存每个阶段的 checkpoint 与逐样本预测还能定位差异: 是训练轨迹改变、评分器更新, 还是数据预处理发生了变化. 复现记录的价值不止是让别人运行, 它还让半年后的下一轮持续更新拥有可信基线.

4 内容依赖

3.1 固定指标口径与超参数信息: 任务选择范围、随机种子和任务顺序、BWT 与遗忘量的具体公式. 这些字段决定 第 2 章 引用的跨论文数字能否比较. 同一准确率矩阵上的手算也解释了 BWT 与遗忘量方向不同的原因.

大模型评测还要覆盖序列外通用能力、指令遵循、安全性以及旧语料验证 loss, 与 大模型持续训练 的持续预训练要求对应. TestingTime 适应则增加在线准确率、适应延迟与回到源域后的表现, 对应 04 · TestingTime 适应 的状态更新与恢复.

3.2 将协议变成可执行实验: 基线至少包含直接微调与联合训练、带回放的直接微调、同预算 ER、方法消融和资源匹配的替代方法; 报告字段覆盖问题定义、数据流、资源预算、结果与复现记录. 问题设定 的问题声明、3.1 的公式和 3.2 的报告模板共同构成完整实验设定.

参考文献

1. Lopez-Paz, D., & Ranzato, M. (2017). Gradient Episodic Memory for Continual Learning. NeurIPS 2017.
2. Chaudhry, A., Ranzato, M., Rohrbach, M., & Elhoseiny, M. (2019). Efficient Lifelong Learning with A-GEM. ICLR 2019.
3. Lomonaco, V., et al. (2021). Avalanche: an End-to-End Library for Continual Learning. CVPR Workshops 2021.