基准把问题设定变成可重复的数据流, 永久名次并非它的目标. Split MNIST、Permuted MNIST、CIFAR 和 ImageNet 增量任务便于控制类别、域与任务标识;CLEAR 等真实时间数据保留环境随时间变化的结构. 两类材料都需要: 合成切分适合验证机制, 真实流暴露任务边界、长尾和相关性假设.
一个持续学习实验可以拆成生成数据流、执行更新、保存状态、在多个时间点评测四步. 每一步都有决定结论的变量. 复现不是把同一配置再跑一次;它要保住算法所获得的信息、资源与时间语义, 并用干预检查核心机制是否真的工作.
1. 基准切分隐含了什么
Permuted MNIST 为每个任务固定一组像素置换, 标签语义不变, 不同任务的低层统计差异很大. Task-IL 下任务 ID 直接选择对应头, 难点主要是共享参数干扰. Split CIFAR 将类别分阶段加入, Class-IL 需要所有类别联合竞争, 对表示与校准要求更高. 两者上的排名不应被期待一致.
按类别随机切分得到清晰边界, 真实流往往没有. CLEAR 按时间组织视觉数据, 同一对象和环境缓慢变化;在线数据还有重复、长尾、突发事件和延迟标签. 如果方法依赖任务边界来冻结参数或重分记忆, 在真实流上必须加入边界检测, 并把检测错误算入结果.
大模型评测不能只把分类基准放大. 持续预训练需要同时测新领域 loss、通用语料、事实更新和下游能力;持续 SFT 还要测格式、工具、推理与安全行为. 评测集之间可能存在训练污染, 时间更新任务也要固定知识截止点和证据来源.
2. 强基线与预算对齐
每项实验至少包含顺序微调、同预算 replay、适用时的联合训练参考. 若方法使用旧教师, 把教师参数计入存储;若每任务增加 adapter, 报告累计参数和路由成本;若 GEM 每步计算多个旧梯度, 按总 FLOPs 或墙钟时间与基线对齐. 只固定 epoch 会让计算更重的方法获得更多优化.
记忆预算应按字节而不是样本数. 一张图片、token 序列、feature 和 logits 占用不同, 压缩格式也会改变可用信息. 训练预算则区分前向、反向和生成成本. 推理阶段需要任务 ID、检索或多模块 ensemble 时, 这些同样进入部署成本.
超参数选择使用独立开发流或只依赖已见数据. 所有方法共享相同顺序和随机初始化, 才能进行配对比较. 运行多个顺序与种子, 保存每阶段 checkpoint 和准确率矩阵, 避免只留下最终均值后无法定位差异来源.
3. 消融必须对应方法主张
一项方法声称重要性估计保护关键参数, 就改变 Fisher 样本量、近似结构并打乱重要性排名;声称记忆选择优于随机, 就在相同容量与更新次数下交换选择器;声称参数隔离避免遗忘, 就分别测试 oracle routing 与真实 routing. 这些干预直接作用于被声称的因果变量.
仅删除一个损失项有时不足. 删除后训练不稳定、学习率未重调, 性能下降可能来自优化条件变化. 合理消融需要在同等调参规则下重新寻找可运行配置, 同时报告计算变化. 理论推导给出方向或上界, 受控实验验证变量, 多数据集结果说明规律是否扩展;三者的证据强度不能混写.
负结果也应定位条件. 小记忆有效、大记忆优势消失, 说明方法改进了选择效率;任务 ID 可用时有效、Class-IL 失效, 说明路由或校准未解决;短序列稳定、任务数增长后崩溃, 说明近似误差累积. 将失败点画成随容量、任务数或分布距离变化的曲线, 比给一个平均分更能指导选择.
4. 复现边界与结果解释
影响复现的状态包括模型、优化器、学习率日程、buffer、采样器和任务进度. 恢复实验时遗漏优化器会改变后续动力学, 但无需把文章写成通用容灾手册. 这里关心的是: 复现所需状态是否属于算法, 其大小和生命周期是否被报告, 恢复后是否回到同一学习轨迹.
浮点非确定性会造成小差异, 多种子统计应覆盖它;若差异大到改变结论, 需要检查数据顺序、batch 构成和边界处理. 版本信息只保留能改变算法语义的部分, 如库对 batch norm、采样器或梯度累积的实现. 端口、监控和通用部署模板不属于持续学习知识主线.
结果解释最终回到对照关系. 方法超过顺序微调, 只能说明保护有用;超过同预算 replay, 才说明新增机制带来价值;接近联合训练, 仍需确认是否使用了未来信息或增长容量. 基准与复现实验 展开常见切分、框架和预算核对. 一项可信结论应能够指出在什么协议、资源、任务顺序和模型规模下成立, 以及改变哪个条件后优势消失.
5. 从小基准走向 LLM 时保留因果轴
分类基准能够廉价扫描任务数、顺序和缓冲区, 适合验证梯度冲突与容量趋势. LLM 实验成本高, 通常只能运行少量配置. 合理做法是先用小模型确定机制变量, 再在大模型上验证关键交叉点, 而不是用一个大模型结果替代完整消融. 底座、训练 token 和数据质量必须固定, 否则规模收益会覆盖算法差异.
LLM 评测还需要防止 benchmark 记忆. 持续预训练语料可能包含测试题, 分数提高未必表示迁移;旧 benchmark 下降也可能来自输出格式改变. 使用时间切分、可验证生成任务、受控知识注入和训练数据审计, 能把新知识写入与污染分开. 对每项结论保留至少一个直接行为测试和一个机制干预.
机制验证的终点是可反驳预测. 例如 Fisher 约束若依赖局部曲率, 任务距离扩大后优势应下降;选择器若改善记忆覆盖, 容量很大时与随机采样的差距应缩小;路由是瓶颈时, oracle routing 应恢复旧能力. 实验按这些预测设计, 即使结果为负, 也能修正路线边界, 而不只是宣布某个方法在一张表上输了.
基准还应有足够长的任务轴. 只有两个任务时, 局部锚点和小缓冲区很容易奏效, 容量饱和、选择错误和近似累积尚未出现. 增加任务数时同时固定每任务数据与总预算, 可以区分长度本身与更多训练量. 方法若在短序列占优、长期回落到朴素 replay, 这个交叉点比短表上的最高分更有价值.
任务轴拉长以后还要定期插入早期能力探针, 才能看见保持曲线何时出现拐点.
参考文献
- Lomonaco, V. et al. (2021). Avalanche: an End-to-End Library for Continual Learning.
- Lin, Z. et al. (2021). The CLEAR Benchmark.
- Prabhu, A. et al. (2020). GDumb.
- Masana, M. et al. (2022). Class-incremental learning: survey and performance evaluation.