1 · 基础与问题定义

持续学习论文里的数字很难直接比较. 同一个方法, 换一个场景, 准确率可以从 98% 掉到 20%; 同一个场景, 每个样本看一遍还是看五十遍, 方法之间的差距可以从十几个百分点缩到三个百分点以内. 这一章只有一篇问题设定, 它先把问题定义到可以比较的程度: 推理阶段给不给任务标识, 数据流怎么给, 保留什么状态, 用多少资源. 第 2 章的方法和第 3 章的指标都以这里的定义为前提.

静态监督学习默认训练样本来自一个固定分布, 训练结束后再到同分布测试. 持续学习把这个前提拆开: 数据按时间到来, 分布可能改变, 旧样本未必还能访问, 模型每次更新都会改变之后的学习起点. 于是一次梯度更新同时承担两件事, 它要吸收眼前数据, 也要保护过去形成的函数. 前者要求参数愿意移动, 后者要求重要方向保持稳定, 这就是稳定—可塑性矛盾.

这个矛盾没有脱离任务的统一最优解. 如果未来永远重复旧分布, 最稳妥的策略接近不更新; 如果环境已经永久改变, 紧守旧参数又会产生顽固性. 模型必须根据数据流判断哪些变化只是噪声, 哪些变化代表新任务, 哪些旧知识还会再次使用. 当任务标识和边界都不提供时, “现在发生了变化”本身也要由模型推断.

因此, 持续学习研究的核心不只是减少遗忘. 它还要回答新能力学进去了多少, 旧能力保留了多少, 早期经验是否帮助后来任务, 当前更新是否伤害未来学习, 这些效果用了多少存储和计算. 最终准确率把几种现象压在一起: 一个模型可能几乎不忘, 只是因为它从未学会新任务; 另一个模型平均分相同, 却在不同任务间反复获得和丢失能力. 准确率矩阵、任务顺序和资源记录就是为了拆开这些路径.

1 为什么先定义问题

1.1 场景决定难度

van de Ven & Tolias (2019) 按推理阶段的任务信息把持续学习分成三种场景. Task-IL 在推理阶段给出任务标识, 模型只需在该任务的类别里选; Domain-IL 不给标识, 类别集合不变, 输入分布在变; Class-IL 不给标识, 模型要在所有已见过的类别里选, 输出层随任务增多而变宽. Split MNIST 把 10 个数字分成 5 个任务, 三种场景用的是同一份数据, 只是问法不同.

问法不同, 结果差得很远. 论文 Table 4 里, EWC 在 Task-IL 下平均准确率 98.64%, Domain-IL 下 63.95%, Class-IL 下 20.01%; 不做任何处理的顺序微调在 Class-IL 下是 19.90%. 也就是说, 在 Class-IL 下 EWC, Online EWC, SI 三种正则化方法与基线没有差别, 而存 2000 个样本的 iCaRL 达到 94.57%, 生成式回放加蒸馏达到 91.79%. 因此「在 Split MNIST 上」并不是完整的结果描述, 它还缺少所用场景.

1.2 场景之外还有五个维度

两篇都写着 Class-IL 的论文, 数据流的给法仍可能完全不同. 第一个维度是遍历次数. GEM 和 A-GEM 采用单遍设定, DER 论文主实验每个任务训练 50 个 epoch; DER 论文 Table 5 的单 epoch 结果里, 缓冲区 500 的 DER++ 是 48.04%, 多 epoch 时是 72.70%. 第二, 三个维度是任务边界和监督形式: 训练时是否知道任务在哪里切换, 标签是逐样本给出还是只有部分给出. 很多方法在边界处更新锚点或旧模型副本, 没有边界就无法运行.

另外两个维度是保留的状态和起点. 保留的状态包括回放缓冲区, 旧模型副本, 参数重要性, 掩码, 新增模块, 它们都要计入资源. 起点的影响同样大: L2P 冻结 ImageNet 预训练的 ViT-B/16, 只学一个提示池, 在 Split CIFAR-100 的 Class-IL 上不存样本就达到 83.83%, 联合训练上界是 90.85%; 同一张表里从头训练的 ResNet18 上界只有 80.41%, 在它上面运行的 SupSup 为 28.34%. 起点不同的两组数字放在一起, 比较的主要是骨干.

1.3 用一条数据流统一任务, 域和类别

设时间 $t$ 到来的样本来自分布 $P_t(X,Y)$ , 学习器获得观察 $o_t$ 并更新状态 $s_t=U(s_{t-1},o_t)$ . 状态可以包含参数、优化器、回放缓冲区、提示池和统计量. 任务增量、域增量与类别增量的差别, 可以写成 $P_t$ 的哪一部分变化, 以及学习器能看到哪些辅助变量.

Domain-IL 通常保持标签空间和预测规则不变, 让输入边缘分布 $P_t(X)$ 改变. Class-IL 让支持集中的类别逐步增加, 模型在推理时面对所有已见类别. Task-IL 额外提供任务变量 $z_t$ , 预测变成 $P(Y\mid X,z_t)$ ; 多头模型利用 $z_t$ 先选输出头, 把原本需要推断的混合分布拆成多个较小问题. 因此, 三种场景的差异来自可见信息和决策空间, 并非给同一个算法换了三个名字.

实际数据流不一定在整齐边界上切换. 分布可能缓慢漂移, 旧域与新域交错, 同一类别的含义随时间变化, 新类别也可能只出现一次. 若训练协议在边界处保存参数快照或重估重要性, 它使用了额外的边界变量. 在无边界设定中, 学习器只能从损失、表示或输入统计的变化推测切点; 检测太慢会把新旧数据混在一起, 检测过敏又会为普通噪声不断创建新组件.

监督可见性是另一根独立轴. 标签可能立即给出、延迟给出、只覆盖少量样本, 或完全缺失. 相同的 $P_t$ 在完整监督下是持续监督学习, 在无标签部署流中更接近持续 Test-Time Adaptation. 任务边界可见不代表标签可见, 标签可见也不代表任务身份可见. 实验声明需要把两者分开.

这套写法还能容纳重复出现的任务. 若 $P_1$ 在很久以后以 $P_k\approx P_1$ 的形式回来, 模型应当快速恢复, 而非把它当成全新任务重新学习. 恢复速度反映旧知识是否仍可访问; 只看最终准确率, 会把保留知识和重新训练得到的知识混在一起.

统一数据流也暴露了一个可识别性问题. 观察到测试成绩下降, 可能是模型忘了旧映射, 输入分布变了, 标签定义变了, 或评价时没有提供训练阶段用过的任务标识. 仅凭一个终点分数无法区分这些原因. 需要固定测试分布、保存多个时间点的快照, 并明确状态与信息权限, 遗忘和迁移才有可解释含义.

2 共用的度量与解释

2.1 准确率矩阵, 遗忘与顽固性

全章的度量都从准确率矩阵出发. 设第 $t$ 个阶段提供数据集 $\mathcal{D}$ , 模型 $f$ \theta $f_{θ}$ 在 $\mathcal{D}_1,\dots,\mathcal{D}$ 上依次训练; 记 $a$ {k,j} $a_{k, j}$ 为学完第 $k$ 个任务后在第 $j$ 个任务测试集上的准确率. 下三角反映旧任务的保持, 对角线反映刚学完时的水平, 上三角反映尚未训练的任务得到了多少迁移. 第 3 章的 ACC, BWT, FWT, LCA 都是这个矩阵上的不同统计.

稳定性和可塑性要分开度量. Chaudhry 等 (2018) 定义遗忘量 $f_j^k=\max_{l<k}a_{l,j}-a_{k,j}$ , 即任务 $j$ 的历史最好准确率与当前准确率之差; 顽固性 $I_k=a_k^$ , 其中 $a_k^$ $a_{k}^{*}$ 是用前 $k$ 个任务的数据联合训练的参照模型在任务 $k$ 上的准确率. 正则化越强, 遗忘越小, 顽固性越大. 只报遗忘量会漏掉「为了保住旧任务而学不进新任务」这类失败. EWC 论文图 2A 正好给出了两个方向: 普通 SGD 学会任务 B 但忘了任务 A, 对所有参数施加同样强度的 L2 约束则保住了 A 却学不进 B.

2.2 梯度干扰与资源预算

遗忘有一个一阶解释. 设旧任务 A 的梯度为 $g_A$ , 新任务 B 的梯度为 $g_B$ , 沿 $-g_B$ 走一小步后旧任务损失约变化 $-\eta,g_A^\top g_B$ . 内积为负时旧任务损失上升. GEM 把「内积非负」写成约束, A-GEM 把多个约束合成一个, EWC 用 Fisher 信息近似曲率从二阶处理同一件事. 读第 2 章时, 可以用这个式子判断每种方法在动哪一项.

资源要和准确率一起报. 1.1 列出需要报告的项: 回放数据的字节数, 附加参数量, 每阶段的训练步数, 额外的前向和反向, 峰值显存, 总耗时. A-GEM 论文 Table 7 给出 Permuted MNIST 上的训练时间: GEM 3442 秒, A-GEM 477 秒, EWC 403 秒, 普通 SGD 186 秒. 大模型上这一项更关键: 70B 模型仅 BF16 权重就是 140 GB, 混合精度 Adam 全量训练每参数约 16 字节, 合计 1120 GB; 全量更新时再用 EWC, FP32 的对角 Fisher 要 280 GB, 另加一份 140 GB 的 BF16 参数快照. QLoRA 把冻结权重量化到 4 bit 再训练 LoRA, 在单张 48 GB 显卡上微调了 65B 模型.

2.3 大模型改变了经典设定的起点

经典持续学习常从随机初始化的小模型开始, 每个任务提供相对清楚的类别和边界. 大模型已经在预训练中吸收了广泛知识, 新阶段数据既可能教会真正的新事实, 也可能只是在唤起参数里原有的能力. 更新后某项测试提高, 需要区分知识写入、提示适配和输出风格校准. 这比“学会一个新类别”更难归因.

旧能力也从几个历史任务扩展成开放集合. 继续预训练一个领域语料时, 无法枚举模型此前掌握的所有语言、事实、推理和安全行为, 联合训练上界也很难构造. 通用保持集只能抽样观察. 没有测到退化, 表示所选探针尚未发现退化, 不能推出全部旧能力保持不变.

预训练底座还提供很强的上下文学习. 模型能在提示里读文档、示例和工具说明, 无需修改权重就完成新任务. 因此, 大模型持续学习至少有三种载体: 上下文中的临时信息、外部记忆或参数高效模块中的可撤回状态、基础参数中的长期内化. 三者的保持时间、容量和风险不同. 评测必须在需要时拿掉文档和检索, 才能判断知识是否真的进入参数.

参数冗余改变了稳定—可塑性的实现方式. 冻结骨干、只训练 LoRA 或提示池, 能把新知识限制在小模块中, 降低对通用能力的直接干扰; 模块容量有限时又会出现新的覆盖, 多个适配器还需要路由和合并. “少改参数”降低一次更新的作用范围, 不保证更新方向正确.

数据规模同样改变问题. 大模型继续预训练一次就可能处理数十亿 token, 传统按任务保存少量样本的回放比例需要重新解释. 重要的量变成旧分布 token 占比、采样温度、学习率重启、训练步数和领域混合. 当计算预算只允许很小的旧数据比例时, 保持能力更多依赖预训练表征的稳健性与参数高效更新.

这些变化没有让经典定义失效. 准确率矩阵仍可描述有限任务集, 梯度干扰仍解释局部更新, 稳定—可塑性仍是核心张力. 变化发生在状态规模、旧能力覆盖和可观察性: 大模型知道得更多, 能用上下文绕开权重更新, 也更难证明一次更新没有伤到别处. 问题设定会把这些条件写进问题声明, 后续方法才有共同的比较起点.

3 场景对照与相邻概念

3.1 三种场景的对照

场景	推理阶段给任务标识	模型要判断什么	输出层	Split MNIST 上 EWC 的平均准确率
Task-IL	给	当前任务内的类别	每个任务一个头	98.64%
Domain-IL	不给	类别集合不变, 只判断当前输入属于哪类	共用一个头	63.95%
Class-IL	不给	所有已见类别, 隐含要推断任务	共用一个头, 逐步变宽	20.01%

从上到下, 推理阶段可用的信息越来越少. Task-IL 下多头输出把各任务的分类器隔开, 正则化只需保住共享特征; Class-IL 下新旧类别共用一个 softmax, 新任务训练时旧类别得不到正样本, 输出偏向最近学的类别, 这就是 task-recency bias. DER 论文的 Seq-CIFAR-10 给出同样的现象: 缓冲区 500 的 ER 和 DER++ 在 Task-IL 下只差 0.27 个百分点, 在 Class-IL 下差 14.96 个百分点.

所以方法之间的优劣, 大多只在 Class-IL 下才显出来. 第 2 章讨论正则化方法为什么在 Class-IL 下失效, 回放和偏置校正为什么有效; 第 3 章的类别增量评测经验, 也是围绕新旧类别的不平衡展开的. 声明实验时, 1.1 末尾的问题声明模板把场景和五个维度列成一张表, 逐项填写即可.

3.2 与相邻概念的边界

在线学习, 域自适应和长上下文 TTT 都和持续学习有交集. 在线学习的理论框架是遗憾最小化, 样本逐个到达, 评价的是整个过程中的累积损失, 第 3 章的先测后训评测与这个量一致; 它不单独度量旧数据上的性能. 两者叠加就是在线持续学习, GEM 和 A-GEM 的单遍实验都在这一设定下进行. 域自适应关心从源域到一个固定目标域的迁移, 目标域只有一个, 也就没有「学了第二个忘第一个」的问题. TestingTime 适应把适配推迟到部署时, 用无标签输入更新模型, 状态延续时就成了持续 TestingTime 适应, 是第 4 章的主题.

长上下文 TTT 名字相近, 问题不同. TTT 层把一个小模型的权重当作序列模型的隐藏状态, 每读一段 token 就做一步自监督梯度更新, 序列结束后状态不带到下一条序列. 它要解决的是长序列建模的计算复杂度. 共同点在于, 内循环写入新信息时同样可能覆盖先写入的信息, 这部分在第 5 章讨论.

4 内容之间怎样接起来

本章的三种场景和符号是后文的共同坐标. 参数与函数约束与回放与记忆都会用到遗忘量, 顽固性和梯度干扰: 正则化约束参数移动, 回放则直接改变当前梯度, 两条路线最终都要落回这些量上比较. 大模型持续预训练还多了一层显存和数据预算, 对应大模型持续训练的参数高效适配与资源估算.

方法表里的数字由评测协议赋予含义. 指标与任务顺序从准确率矩阵推导平均准确率, 遗忘和前后向迁移; 基准与机制验证再补齐任务顺序, 超参数选择和预算口径. 场景, 指标和实验预算缺一项, 不同论文中的同名数字就可能在回答不同问题.

TestingTime 适应与长上下文 TTT 借用了持续更新的形式, 状态生命周期却不同. 04 · TestingTime 适应讨论部署数据到来以后模型怎样适配, 状态可能沿测试流延续; 05 · TestingTime 训练与长上下文把快速权重当作序列状态, 通常在序列边界复位. 二者都会遇到新写入覆盖旧信息, 但一个关心跨样本的分布变化, 另一个关心单条长序列里的记忆容量.

参考文献

van de Ven, G. M., & Tolias, A. S. (2019). Three scenarios for continual learning. arXiv:1904.07734.
De Lange, M., et al. (2022). A continual learning survey: Defying forgetting in classification tasks. IEEE TPAMI.
Masana, M., et al. (2022). Class-incremental learning: survey and performance evaluation on image classification. IEEE TPAMI.