5.2.3 · GPT-Red: 安全红队的攻防自博弈

GPT-Red 是 OpenAI 在 2026 年 7 月发布的自动红队模型, 用来找针对前沿语言模型的提示注入攻击. 它用自博弈强化学习训练: 攻击者因诱发有效的失败得奖励, 一组同时训练的防御者因抵抗攻击并完成原任务得奖励.

1. 问题与威胁模型

1.1. 静态的对抗数据集会被过拟合

提升模型对恶意输入的鲁棒性, 常用的做法是基于 RL 的对抗训练: 模型抵抗人类红队, 提示过的语言模型或生产环境中真实攻击时得奖励. 论文开头指出这种做法的问题: 数据集规模有限, 模型很快过拟合到数据集里的那几种攻击模式, 面对会调整策略的攻击者仍然脆弱. 模型的能力和用途越扩展, 攻击面越大, 这个问题越难. 论文的主张是训练一个红队 Agent, 让它以足够的规模, 多样性和质量生成对抗数据. 攻击者和防御者相互训练: 防御者变强以后, 攻击者必须找到新的更有效的攻击; 攻击者变强以后, 它暴露的新失败又成为防御者更难的训练数据.

论文关注两类攻击. 提示注入让模型执行与开发者或用户意图冲突的不可信指令. 其中直接注入由用户直接给出, 试图覆盖更高优先级的系统或开发者指令; 间接注入出现在 Agent 读取的第三方内容里, 比如工具输出, 检索到的文档, 网页. 另一类是内容政策越狱, 试图绕过模型对有害请求的拒绝, 涉及自伤, 违法建议, 生物, 化学和网络风险. 防御的概念框架是指令层级: 系统, 开发者, 用户, 工具返回各有明确的权限级别, 冲突时模型优先服从权限更高的指令. 提示注入的本质是让低权限内容 (用户消息或工具返回) 里的指令被当作高权限指令执行.

1.2. 威胁模型的三条目标

论文对攻击者提出三条要求. 泛化: 它要能作为「即插即用」的红队, 用于任何目标模型, 任何红队 harness, 任何攻击场景, 包括没训练过的新一代 GPT 和没见过的 Agent 工作流 (例如写恶意的 Slack 消息). 多样性: 即使对同一个目标或同一个环境, 也要能产出不同类型的攻击, 这样对抗训练可以对着一个攻击者投入大量算力, 不需要很多专门的攻击模型. 合法性: 真实的攻击者不能任意控制防御者的轨迹. 一个攻击者可以控制防御者访问的某个网页的部分内容, 但不能控制防御者搜索工具的功能和格式.

合法性这一条直接对应自演化里的奖励钻空子. 论文写道, 实践中 Agent 有很多办法「作弊」或「钻奖励的空子」, 也就是编辑轨迹中真实攻击者接触不到的部分. 如果允许这样做, 攻击成功率测到的是实验设置的漏洞, 不是现实中的攻击.

攻击面, 知识与执行：攻击面: 攻击者总是只能修改防御者轨迹中的一条工具返回, 或一组非特权文件. 任务涉及网页搜索时, 它可以替换一条搜索结果; 任务涉及做幻灯片时, 它可以添加或修改少量非关键文件, 比如下载的市场报告. 它不能修改特权文件和工具返回, 比如用户的 AGENTS.md. 知识与访问: 攻击者通常能看到最近一条用户消息, 以及攻击要放入的那条原始工具返回或文件. 它对目标防御者有黑盒访问, 查询次数有限. 查询之后, 它有时能看到注入攻击后防御者的完整轨迹, 通常还能看到对应的 token 对数似然.

执行: 攻击提交后, 被放进防御者轨迹中预先指定的位置 (某次工具调用或某个文件). 有时还有额外约束, 比如攻击要符合工具返回的 schema, 或者长度有限. 论文用程序检查和基于 LLM 的检查混合判定攻击是否合法, 不合法的攻击被拒绝并且惩罚攻击者. 论文说它定性地评估了这套检查的效果, 认为高度有效. 这是一个定性判断, 论文没有给出检查器漏判率的数字. 攻击目标随用户任务和可用工具变化. 间接注入的例子包括窃取 (模拟的) 敏感或私人数据, 运行不可信代码, 执行破坏性的代码操作 (例如删除目录).

1.3. 查询工具与自博弈训练

查询工具: 顺序查询比独立采样更省：攻击者有两个工具: 一个通用终端, 和一个 defender_model 工具. 它用终端在虚拟文件系统里创建包含攻击的文件, 再把文件路径交给 defender_model. 工具在后台把攻击放进预定位置, 采样一条防御者轨迹, 返回轨迹, token 对数似然和判官 LLM 的反馈信号. 攻击者可以先写一个初始攻击, 提交, 再直接编辑文件改进它; 也可以在终端里写代码批量生成攻击, 比如填模板, 重复字符串, 组合多种策略. 满意或时间用完时, 它提交最终攻击的路径. 有些训练场景里, 工具还支持多轮攻击, 攻击者可以有状态地和防御者积累多轮对话.

论文用一个实验比较这种顺序查询和 best-of-$N$ 独立采样. 攻击者是一个冻结的, 只训练过有用性的内部模型, 环境是 Guo 等人 (2026) 的 IH-Challenge 指令层级题: 每道题有一条高优先级消息 (例如系统消息) 里的指令和一条低优先级消息 (例如用户消息) 里的空位, 攻击者要写一段放进空位的文本, 让防御者违反高优先级指令. 攻击成功率 (ASR) 定义为至少有一次攻击成功的题目比例. 结果是: 增加攻击者算力, 两种方式的 ASR 都明显上升; 同样的查询预算下, 用 defender_model 工具的 ASR 更高, 查询次数越多差距越大. 论文指出, 查询次数多的区间正是大算力对抗训练关心的区间.

这个结果的含义可以用第 2.1 篇的 L0 分类来读. 单次推理内的多轮修改是 L0 的修订: 每次查询的结果只用于改这一次的攻击, 不跨任务保留. 顺序查询胜过独立采样, 是因为每一轮修改都用上了防御者的真实反应, 这是环外的信号. 2.1 讲过, L0 的上限由证据决定; 这里的证据来自目标模型本身, 所以修订有效.

自博弈的七步循环：攻击者和防御者都从强 CoT 推理模型初始化. 每一轮分七步. 第 1 步采样一个 RL 环境: 一段对话, 一个初始文件系统状态, 一个选定的防御者. 第 2 步选一个与上下文相符的攻击插入点 (通常是一次工具调用) 和对应的攻击目标, 例如从根目录执行 rm -rf, 或者把 API 密钥发到一个 HTTP 端点; 同时给攻击者完成任务所需的知识, 例如最终一条用户消息. 第 3 步, 攻击者带着这些信息展开, 和防御者交互, 满意时提交最终攻击, 中间对防御者的所有调用都丢弃.

第 4 步检查攻击和环境的合法性, 攻击不合法, 奖励为 0. 第 5 步把攻击插入防御者轨迹的预定位置, 从插入点继续运行防御者. 第 6 步按环境计算奖励, 奖励通常不对称: 检查攻击者是否成功, 以及防御者是否完成了原任务. 第 7 步用 (轨迹, 奖励) 对, 以 RL 更新攻击者和防御者. 第 3 步「中间调用全部丢弃」和第 4 步「不合法得 0 分」是两道控制. 前者保证防御者只因最终攻击被训练, 不会被攻击者试探过程中的半成品影响. 后者把威胁模型变成奖励的一部分: 越界的攻击在训练信号里不存在.

训练动态?论文在 IH-Challenge 上做了受控的自博弈实验: 攻击者从内部只训练过有用性的模型初始化, 防御者是一个较小的 GPT-5 系列模型. 攻击者的训练 ASR 呈现起伏: 它找到的策略被防御者修补, ASR 下降, 然后它转向新方法. 论文把这些下降看作对双方都有用的课程. 定性分析发现, 某些更强也更复杂的攻击类别 (比如后面要讲的伪造 CoT) 在训练后期才出现, 简单攻击 (比如系统消息覆盖) 出现得早.

防御者一侧, 留出评测上的直接注入鲁棒性随自博弈大致单调上升. 论文比较了三种攻击者: 冻结的提示模型, 能用 defender_model 工具的冻结提示模型, 自博弈训练的攻击者. 用训练过的攻击者对抗, 防御者鲁棒性提升最快, 最终也最高.

攻击者不遗忘, 也不只对一个对手?一个风险是攻击者遗忘以前的知识, 局部过拟合到当前的防御者. 论文用一个交叉矩阵检查: 让攻击者的各个检查点去攻击防御者的各个检查点. 后期的攻击者检查点几乎单调地更擅长攻破所有防御者检查点, 早期的攻击者很弱. 论文还试过只训练攻击者 (防御者不动), 发现这样训练出的攻击者只对它训练时面对的那个防御者更强, 对留出的防御者更弱, 并且更容易在攻击策略上坍缩.

多防御者是另一项控制. 初步实验里只用一个防御者做自博弈, 攻击者常常坍缩到很窄的一类攻击策略. 加入多个防御者, 特别是对不同类型攻击都很鲁棒的模型, 攻击者被迫先探测每个防御者的独特弱点, 而不是收敛到一种对所有对手都还算有效的攻击. 论文让一个攻击者对 9 个冻结的防御者训练, 训练结束后把针对某一个防御者找到的攻击拿去攻击另外 8 个: 成功的攻击不总能迁移. 论文据此认为攻击者学会了观察对手的行为并针对性地调整.

这和 2.3 讲的竞争式自博弈的失效条件直接对应. 2.3 的结论是, 竞争信号只在竞争还活着的时候有信息量, 两个副本不再有实质分歧时信号退化. 只对一个防御者训练, 攻击者和防御者会锁定在一对相互适应的策略上; 多个防御者让攻击者面对的分布保持宽, 竞争就不容易停止.

从现有任务构造训练环境如下： 直接注入与间接注入?论文构造训练环境的原则是把现有的能力任务改造成对抗环境: 在防御者的运行过程中, 拦下某次工具调用的返回, 让攻击者编辑指定的一段, 比如一条工具返回或本地文件的某个区域. 这样可以直接继承大量真实而复杂的防御者任务, 例如 GPT-5.6 的常规后训练数据集, 让防御者在整个训练分布上都变得鲁棒.

直接注入?在 Guo 等人 (2026) 的基础上扩展. 防御者有一条更高优先级的开发者或系统消息, 攻击者可以编辑一条更低优先级的用户或开发者消息. 任务有可验证的奖励, 包括永不泄露某个 PIN, 执行正则替换, 把文本解析成结构化 schema. 攻击者的目标是造成对高优先级约束的定向或非定向违反. 奖励用程序检查判定, 通常对称地奖励成功的一方.

间接注入?复用现有的 Agent RL 环境, 允许攻击者编辑某条工具返回或一组非特权文件, 保证被编辑的只有不可信的第三方内容. 文本环境覆盖四类场景: 浏览 (即时搜索或深度研究返回的网页, 攻击者可编辑其中一个网站的文本), 连接器 (Gmail, Google Calendar 等第三方服务的返回), 通用函数调用 (防御者拿到任意函数 schema, 攻击者覆盖一次读取不可信内容的工具输出), Agent 编程 (攻击者在防御者读取或修改之前编辑选定的本地文件).

多模态注入、越狱与奖励设计?多模态注入. 威胁模型相同, 但攻击者拿到 OpenAI Images 2.0 的 API, 提交的攻击只能是一张渲染出来的图片. 一类是计算机操作 Agent, 防御者看截图操作, 攻击者修改网页上预先划定的区域 (横幅广告, 用户评论区). 另一类是浏览和文档检索, 攻击者替换或添加一张图; 替换时必须保持原任务可解, 图里要保留回答用户问题所需的事实, 标签, 数值和来源.

内容政策越狱?攻击者把一段用户对话引向被禁止的帮助, 例如把一段正常的软件调试对话引向恶意软件开发. 有单轮和多轮两种. 奖励用 rubric 衡量防御者输出离一个「最有害的回答」有多近; 攻击者最大化这个分数, 防御者通过安全地完成或拒绝来最小化它. 论文加了两道过滤防止钻空子: 拒绝本身已含违禁内容, 只要求做表面变换 (例如翻译) 的攻击, 因为它们没有给用户提供实质的新信息; 拒绝不像真实用户对话的攻击. 奖励设计上, 提示注入的理想防御者行为是忽略恶意指令并完成原任务; 攻击者的奖励取决于最终攻击是否遵守威胁模型的限制, 以及是否达成攻击目标.

GPT-Red 的训练与红队评测如下： 训练与攻击的形态?GPT-Red 在 2.3 节的全部环境上, 对一组历代防御者训练, 包括 OpenAI 此前最鲁棒的模型 (直到 GPT-5.5). 权重从 GPT-5.5 初始化, 那是当时最好的前沿模型. 为了保住指令遵循, Codex 中的交互能力和诚实性, 训练中还混入了常规 RL 后训练的环境. 总算力和最近几代 GPT-5 系列的 RL 后训练大致相当, 论文称这是迄今公开的规模最大的单次 LLM 安全 RL 训练.

训练早期, 攻击者给出的是「IGNORE PREVIOUS INSTRUCTIONS ...」这类简单提示. 后期它学会了伪造 CoT: 攻击者控制的文本模仿防御者自己的 CoT, 让防御者把攻击当成自己的推理, 直接照抄攻击者给出的命令. 论文的例子里, 用户问 CDW 公司 2012–2014 年稀释性证券的平均影响, GPT-Red 构造了一条恶意搜索结果, 里面有逼真的 10-Q 内容, 一段引用虚构政策的伪造 CoT, 对这条政策的推理, 以及一条执行数据外泄的命令. 防御者读到后, 把伪造的 CoT 当作自己先前的推理引用, 执行了上传命令, 然后正常回答了问题. 论文说这类攻击对很多模型都稳定有效; 发现时它是独立的新攻击, 同期的 Ye 等人 (2026) 也发现了它.

多模态方面, GPT-Red 学会用图像工具生成逼真的注入图片. 论文的例子是一张仿照场景中咖啡店的收据, 里面无缝地渲染了一个伪造的外泄地址. 论文还报告, 给出少量示例或高层的策略提示时, 攻击者的行为高度可控.

留出场景: 84% 对 13%?在 Dziemian 等人间接提示注入竞技场的内部镜像上, 人类红队和 GPT-Red 独立地对 GPT-5.1 提出攻击. 这些场景和目标不同于 GPT-Red 的训练集. 做法是去掉原来人写的攻击, 分别让 GPT-5.5 和 GPT-Red 生成新攻击. 不给 GPT-5.5 防御者访问时, 它的平均 ASR 和人类大致相当; 给它 defender_model 工具后明显提高; GPT-Red 的平均 ASR 最高. OpenAI 官方说明给出的数字是: GPT-Red 在 84% 的场景中成功, 人类为 13%.

论文在脚注里限定了这个结果: 它不意味着 GPT-Red 普遍优于人类红队, 人类可能找到 GPT-Red 没考虑到的场景或攻击类别. 另外, 这个比较没有对齐双方的时间, 算力和交互次数. GPT-Red 带查询工具, 可以对防御者试很多次; 人类红队的交互预算不同. 按 1.1 第 4 节第 5 条的规则, 这个数字说明 GPT-Red 在这组场景上找到了更多可行的攻击, 不说明同等资源下它比人强.

迁移到旧模型、新 harness 与真实系统?旧模型. 从训练过程中收集一批攻击, 回放给留出的 GPT 版本, 包括直到 GPT-5.2 的早期模型. 攻击在早期 GPT-5 模型上的成功率高得多, 最多接近两倍. 新 harness. 让 GPT-Red 对一个基于 GPT-5.4 mini 的 Codex CLI Agent 做端到端红队, 共 10 个留出的数据外泄场景. 这里用的是另一种 harness: 攻击者可以在十个任务之间依次推进, 把前面尝试的经验带到后面, 自己选择下一个攻击哪个任务. 对照是用同一 harness 的冻结 GPT-5.5. 每个攻击者从三个独立的初始状态各跑一次. 简单任务上两者进展相近; 难任务上 GPT-5.5 停滞, GPT-Red 继续推进.

真实系统?OpenAI 办公室里有一台由 Andon Labs 制作的 AI 自动售货机 Vendy, 它在 Slack 上和顾客交流, 跟踪库存, 改价格, 按预算和需求订货. 论文给 GPT-Red 一份系统描述, 一个可以反复试攻击的模拟环境, 和三个目标: 把一件高价在售商品的价格改成允许的最低价 0.50 美元; 订一件 100 美元以上的新商品并以 0.50 美元出售; 取消另一位顾客的订单. GPT-Red 三个目标都达成了. 对生产系统使用的攻击, 靠的是伪造元数据, 让消息看起来来自一个受信任的管理员.

用 GPT-Red 训练 GPT-5.6如下： 训练与评测设计?GPT-5.6 在广泛的能力和安全任务上训练, 过程中加入一批由 GPT-Red 在 2.3 节环境里生成的提示注入攻击. 论文说明, GPT-Red 的前身版本从 GPT-5.2 起就被用于每一代生产模型的 RL 训练. 论文从几个方向构造评测, 同时考察鲁棒性和过度拒绝.

间接注入:

• 强的同分布攻击. 用几种启发式从 GPT-Red 的攻击里分出强攻击: 对一组攻击, 测它们对某个防御者多次尝试的平均成功率, GPT-5.6 在较弱的一半上训练, 较强的一半留作评测.
• 留出的数据集和领域. 对网页搜索, 函数调用等每个高层领域, 训练时留出一个数据集; 另外完整留出 Agent 编程这个领域.
• 留出的红队演练. 在 2025 年第四季度间接注入挑战的内部镜像上, 让 GPT-Red 带着查询工具从 GPT-5.3 开始逐代攻击. 论文写明, 这项评测没有使用系统级缓解, 测得的攻击成功率比真实攻击者会高.
• 留出的人类攻击. IPI 2025 挑战的人类函数调用注入数据集.

论文还说明, 所有评测都含有标签噪声, 固有歧义或奖励噪声中的某些, 有时任何模型都达不到 100%. 直接注入采用 2.3 节的指令层级场景, 包括同分布的泛化评测和人类红队基准, 对照模型是 GPT-5.1. GPT-5.1 做过大量鲁棒性训练, 但训练里没有 GPT-Red 这类强自动红队的攻击.

结果如下：

图 13 有六组柱状图: 五组是 GPT-Red 生成的新攻击类别 (伪造 CoT, 系统覆盖, 多防御者, 边界情形, 混合类别), 一组是外部基准 TensorTrust. 论文正文只逐字给出了伪造 CoT 的数字, 其余各组的具体数值以论文图 13 为准.

2. 证据、覆盖与攻防动力学

2.1. 开发证据、审计证据与归类

按 1.3 的规则逐项看这些证据. 哪些是开发证据. 「强的同分布攻击」这一项, 训练集和评测集都来自 GPT-Red, 按攻击强度切成两半. 评测集没有直接参与 GPT-5.6 的训练, 但生成它的是同一个攻击者, 分布相近. 它能说明 GPT-5.6 对 GPT-Red 风格的强攻击更鲁棒, 不能说明对其他来源的攻击同样鲁棒. 留出红队演练里, 攻击者仍是 GPT-Red, 被评测的 GPT-5.6 又是在 GPT-Red 的攻击上训练的. 攻击方和训练数据的来源相同, 这是 1.3 第 2.3 节说的「提出者和评审共享同一个盲点」在安全评测上的版本: 两者都没覆盖到的攻击类别, 这项评测也测不到.

哪些更接近审计证据?留出数据集, 留出领域 (完整的 Agent 编程) 和人类攻击数据集, 和训练分布的距离更远. 其中 56.1% 这个数字最有信息量: 在一个整体没见过的数据集上, 不到六成的攻击被抵挡住. 人类攻击数据集上的 100% 说明这个基准对 GPT-5.6 已经饱和, 失去了区分能力, 不说明人类能想到的攻击都已防住.

覆盖、合法性检查与缺口?覆盖与夸大. 论文主动写明了两处会让数字偏离现实的地方. 留出红队演练没有系统级缓解, 攻击成功率被高估; 评测含标签噪声和歧义, 部分任务达不到满分. 前者让防御看起来更差, 后者让上限低于 100%. 论文没有给出置信区间, 也没有公开环境级的结果. 合法性检查本身没有被量化. 威胁模型由程序和 LLM 检查执行, 论文只给了定性评估. 检查器漏判时, 越界攻击会被算作成功, 攻击能力被高估, 防御者也会在不现实的攻击上被训练; 误判时, 合法攻击被拒, 攻击者在这类攻击上得不到训练信号. 两种错误的比例都没有报告.

作者写明的覆盖缺口?论文结论说, GPT-Red 在多模态环境, 多轮攻击和内容政策越狱上的训练较少. GPT-Red 是内部模型, 不对外部署; 训练数据, 权重和完整失败样本外部无法检查, 能核对的只有论文和官方说明.

这套循环在 L0–L4 中的位置?按 1.2 的规则, 先问这个循环保留下来的是什么. 攻击者. 每轮 RL 更新的是攻击者的参数 $\theta_{\mathrm{att}}$. 查询工具, 终端, 环境集合, 奖励规则在训练中不变. 被保留的改动只在 $\theta$, 是 L1. 它在单次推理中通过查询工具反复修改攻击, 那一部分是 L0.

防御者?同理, 自博弈更新的是防御者参数, 是 L1. GPT-5.6 在包含 GPT-Red 攻击的数据上训练, 也是 L1. 外层固定了什么. 威胁模型 (能改哪段, 不能改哪段), 攻击目标的类别, 合法性检查, 奖励函数, 防御者群体的组成, 训练预算, 留出集的划分, 是否采纳一个新模型, 何时训练下一版 GPT-Red, 全部由人决定. 用 1.2 的记号, 改进器 $U$ (提出, 选择, 提交模型更新的程序) 和评判标准 $C$ (奖励, rubric, 合法性规则) 都在循环之外.

飞轮?论文摘要的最终一句是: 期望随着每一代 GPT 模型更鲁棒, 它会为更强的红队 Agent 提供更好的学习信号, 从而形成自我改进的飞轮. 这描述的是跨代际的数据流: 第 $n$ 代 GPT-Red 的攻击训练第 $n$ 代 GPT, 更强的 GPT 又成为第 $n+1$ 代 GPT-Red 的对手. 按 1.2 第 3.3 节的 L3 测试, 忽略这一轮产出的模型, 再问下一轮提出, 选择, 提交改动的方式会不会因为这一轮保留的东西而不同. 论文没有报告这样的变化: 训练算法, 环境构造原则, 奖励设计在代际之间由研究人员维护. 所以飞轮是一条由人运行的, 重复的 L1 训练流程, 不是 L3.

它对 RSI 研究的价值在另一处. 第 1 节的合法性检查, 第 2 节的多防御者和攻击者检查点交叉评估, 以及 2.5 节的留出数据集和领域, 都是在一个大规模的竞争式 L1 循环里把证据放到更新边界之外的具体做法. 2.3 讨论的 SPIN, SPAG, Absolute Zero, R-Zero 规模小得多, GPT-Red 显示了同类循环在前沿模型规模上需要哪些控制.

2.2. 攻击面、对手预算与覆盖率

攻击面怎样分解?一个 Agent 的攻击面至少包括输入文本、检索内容、图像、文件、工具返回、长期记忆、跨 Agent 消息和环境状态. 同一句恶意指令从用户直接输入, 与藏在网页或文档中, 信任边界不同. 红队样本要标记入口、权限和目标资产, 不能只按表面措辞分类. 攻击链还包含阶段: 发现可控通道、让模型采纳指令、获得权限、执行动作、隐藏或维持影响. 某个防御在采纳阶段有效, 不代表能阻止已获得凭证的工具调用. 分阶段成功率显示链条在哪里断开, 端到端成功率显示最终风险.

资产决定严重度. 泄露公开信息、读取私密文件、修改临时草稿、发送外部消息和执行不可逆交易, 后果不同. 红队奖励若只看「是否服从攻击」, 会把所有路径当等价. 风险分级与硬约束进入环境, 使搜索优先覆盖真正高影响路径.

对手知识与预算?黑盒对手只看到公开接口, 灰盒对手知道系统提示或工具结构, 白盒对手还能读取权重与防御. GPT-Red 的能力应绑定威胁模型. 在白盒条件成功不能直接代表普通用户风险, 在黑盒失败也不能排除内部攻击者. 攻击预算包括查询次数、上下文长度、并行分支、外部模型和人工帮助. 顺序查询能利用前次反馈, 比独立采样强. 报告成功率随预算的曲线, 而非只给一个最好结果. 防御在十次查询有效、千次后崩溃, 适用场景不同.

现实攻击者会保存跨会话信息、轮换身份和共享策略. 评测若每轮重置, 只覆盖短期对手. 对长期 Agent 增加持久攻击阶段, 同时限制在安全沙箱. 状态是否清除、凭证是否轮换也成为防御的一部分.

未知攻击族?静态分类法只能覆盖已知路径. 新工具、新模态和组合工作流会产生未知攻击. 保持开放发现通道: 异常轨迹、人工红队、真实事故和异构模型提出的攻击, 都进入候选池. 新样本先聚类机制, 再决定是否属于旧族. 新颖性不能按文本距离判断. 改写越狱提示可能很新, 机制仍是指令优先级冲突; 两个措辞相似的样本若一个利用缓存、一个利用工具解析, 机制不同. 以触发条件和影响路径去重, 防止题库被近义攻击淹没.

探索预算应保留给低先验方向. 当前防御对已知族优化后, GPT-Red 会继续在这些族附近搜索, 因为反馈最密. 定期切换环境、隐藏防御反馈和引入真实新接口, 能扩大边界. 新方向仍要经过合法性和危害控制.

覆盖率不能只数样本?一万个提示可能只覆盖一个漏洞. 覆盖应按攻击族、入口、资产、权限、阶段和环境组合衡量. 建立覆盖矩阵, 显示哪些格子已有成功、失败或尚未测. 空白格子的含义是没有证据, 不能据此给出安全结论. 覆盖也有深度. 一个族在单轮文本测过, 未必覆盖多轮、工具和长期状态. 为关键族设置最低深度, 普通族抽样. 风险越高、现实暴露越大, 需要越深入.

成功样本之外保留近邻安全样本. 防御若通过全面拒绝获得低攻击成功率, 实用性会下降. 每个攻击族配合法任务与边界反例, 同时测攻击阻断和正常完成.

2.3. 自博弈的动力学

攻防并非单调变强?攻击者 $A_t$ 针对防御者 $D_t$ 找漏洞, 防御者再针对这些漏洞更新. 当前胜率下降可能表示防御变强, 也可能是攻击者忘了旧招; 胜率上升可能来自攻击进步, 也可能是环境或评分器变宽松. 因此需要跨版本矩阵, 让每代攻击者测试多代防御者. 矩阵若呈现新攻击打穿新防御、旧攻击也重新成功, 防御发生回归; 新攻击只对当前版本有效, 可能过拟合; 新防御对所有历史攻击改善, 才像稳定进步. 仅看对角线 $A_t$ 对 $D_t$ 无法区分.

策略可能循环. 防御强化拒绝后, 攻击转向间接注入; 防御加强工具隔离后, 攻击回到语义诱导; 后续版本为可用性放松拒绝, 早期攻击再次出现. 保存历史攻击池和周期回归, 防止把循环当持续边界扩展.

种群与遗忘?单一最强攻击者容易专门针对一个防御. 种群保留不同机制、预算和风格, 防御在混合分布上训练. 种群权重不能只按当前成功率, 否则已被修复但重要的旧攻击会消失. 为高风险历史族保留最低权重. 攻击者也会遗忘. 在新环境训练后, 旧环境成功率下降, 总体覆盖收窄. 定期在固定历史池重放, 用多任务训练或经验回放维持. 保持所有样本会增加成本, 可按机制选代表样本, 但对不可接受风险保留完整回归.

多样性按失败集合和攻击路径衡量. 两个攻击者输出完全不同文本却击中同一漏洞, 不算真正独立. 聚类使用被攻破组件、所需权限和防御响应, 让种群覆盖结构性差异.

对手选择与课程?训练若总选成功率最高的攻击, 防御会面对已知容易漏洞; 总选最难攻击, 反馈可能全为失败. 有信息量的课程位于当前边界: 攻击偶尔成功, 防御能从差异中学习. 同时保留少量极难与基础回归. 边界随防御移动. 估计每个攻击族的成功概率与不确定性, 选择接近目标区间的样本. 新族样本少, 即使估计不稳定也给探索名额. 这类似主动学习, 但奖励必须包含覆盖与风险, 不只成功率.

课程本身可能被攻击者利用. 如果晋升规则公开, 攻击者可生成容易被评分器认可的伪攻击. 候选进入训练前验证真实影响, 评分器与生成器隔离. 高分但无实际危害的样本不能占据课程.

平衡不等于安全?攻防达到近似平衡, 只说明在当前策略集和预算下互相难以改进. 策略集之外可能存在未知漏洞, 更强对手也可能打破. 纳什均衡一类语言若脱离游戏定义, 容易产生过强结论. 游戏奖励与现实风险的差距同样关键. 攻击者最大化分类器分数, 防御者最小化该分数, 双方可以围绕评分器形成平衡, 真实安全没有改善. 外部可执行结果、人工锚点和新环境定期校准.

停止自博弈应看边际新覆盖、外部验证和成本. 当前对手胜率低只是一个信号. 若新对手、真实事故和密封环境仍无新增漏洞, 才支持在该范围内趋稳; 结论保持时间和权限边界.

3. 奖励、留出评测与防御训练

3.1. 奖励函数决定红队学到什么

攻击成功标签?最简单奖励由攻击分类器给出. 分类器可能把有害措辞当成功, 即使目标系统没有执行; 也可能漏掉隐蔽工具副作用. 高风险任务优先读取环境状态、权限变化和真实工具结果. 文本分类用于筛选, 不独自确认成功. 成功定义分层: 模型复述恶意指令、输出计划、调用工具、获得目标状态、维持影响. 不同层给不同奖励与严重度. 把部分进展都记零, 攻击者缺少学习信号; 把任何有害文本都记满分, 它会停在便宜表面行为.

评分器不确定时允许未决. 多模型投票若同源, 不能自动解决. 对跨线样本用可执行检查或人工核验, 将确认结果回流校准分类器. 未决比例突然下降可能表示评分器过度自信.

新颖性与严重度?只奖励成功, 攻击者会重复最容易漏洞. 加新颖性可扩覆盖, 但文本距离容易奖励花哨改写. 新颖性基于攻击路径、触发组件和失败集合. 新族第一次确认获得较高奖励, 同族变体价值递减. 严重度反映资产、权限、可逆性和传播范围. 一次读取公开文件与一次外传秘密不可等价. 严重度由威胁模型与责任主体确定, 不能让攻击模型自行评估. 对不可接受路径设置硬优先级.

新颖与严重可能冲突. 一个低风险新奇攻击不应挤掉高风险回归. 采用分层队列或多目标选择, 保留画像. 统一加权分数需要明确权重, 且不允许严重风险被其他项补偿.

成本与隐蔽性?现实攻击受查询、时间、算力和访问成本限制. 成功率相同, 一次查询成功比万次搜索更危险. 奖励加入成本或报告成功随预算曲线. 训练可探索高预算路径, 风险结论按现实可行预算分层. 隐蔽性关系监控. 明显攻击即使成功, 可能被运行时检测; 低异常分的攻击更难发现. 但奖励隐蔽性会主动培养规避监控能力, 评测与训练要隔离、限制输出和访问. 只有在有明确安全收益的受控环境中使用.

检测器也不能进入攻击者可读上下文. 若攻击者反复获得检测分, 它会对检测器优化. 最终隐蔽性在密封监控器和真实日志上评估, 开发反馈保持粗粒度.

奖励黑客?攻击者可能操纵成功分类器、修改环境标志、让目标模型声称已执行或造成解析失败. 这些都能获得高分而没有真实攻击. 候选无权写评分状态, 环境从可信外部读取, 异常终止不算成功. 最小反例帮助定位黑客路径. 固定语义改变格式, 固定格式改变真实状态, 看分数是否跟随目标. 修复评分器后重放历史高分样本, 重新排序种群. 被漏洞选中的策略可能已经主导训练, 只修未来不足.

奖励版本写入每条轨迹. 新旧奖励不可直接平均. 评分修订后, 能重放的原始轨迹全部重算, 无法重算的结果降级. 这样训练曲线不会把换尺子误认成攻击能力跃升.

3.2. 留出评测怎样证明迁移

按机制切分?随机把近义提示分到训练与测试, 会高估迁移. 同一模板的改写跨集合, 攻击者只需记风格. 更强切分按攻击族、目标应用、工具或时间, 让测试机制真正未见. 切分单位与主张对齐. 84% 对 13% 这样的差距要看分母、成功定义和置信. 若留出场景数量少, 单个场景权重很大; 若每个场景生成许多相似提示, 样本并不独立. 按场景聚类报告, 同时给逐场景分布.

训练场景与留出场景难度可能不同. 使用参考攻击者、人工红队或历史基线校准. 留出提升来自通用攻击能力, 还是测试更易, 需要相同基线下的增量判断.

跨模型迁移?攻击从一个目标迁移到旧模型或新模型, 说明它捕捉了共享漏洞. 模型家族共享训练和安全策略, 迁移仍可能来自同源偏差. 增加不同架构、不同组织和不同防御的目标, 证据更强. 跨模型比较固定接口、工具和预算. 新模型安全过滤更强、能力也更强, 攻击成功变化混合两者. 记录攻击在哪一阶段失败: 不理解、拒绝、工具阻断或监控拦截.

目标模型更新后, 旧攻击池可作回归, 新攻击者重新搜索边界. 只复用旧池会漏掉新漏洞, 只用新池会忘记历史. 两部分分别计分.

跨 harness 迁移?harness 决定提示包装、工具协议、记忆和错误反馈. 攻击跨 harness 成功, 表明不依赖单一实现细节; 失败可能是防御有效, 也可能只是接口不兼容. 将攻击意图适配到新接口, 与原样迁移分别测试. 脚手架自身可能有漏洞. 模型安全, 解析器却执行了隐藏字段; 或模型被攻破, 权限层仍阻断后果. 分层日志区分. 将所有失败归到目标模型会错过系统安全的主要来源.

真实系统比实验 harness 多路由、缓存和策略. 在不暴露用户的影子环境重放, 再小流量受控测试. 研究结果先支持实验系统结论, 生产迁移需要新增证据.

时间留出?按时间冻结训练材料, 用之后出现的攻击测试, 能减少直接记忆. 基础模型可能在预训练中见过后期公开攻击, 需要记录训练截止与数据来源. 无法严格保证时, 称为时间近似留出. 新攻击通常伴随新工具或系统变化. 时间留出混合攻击创新与环境漂移. 在旧环境复现新机制, 再在新环境端到端测试, 可以拆开. 两者都失败说明不同问题.

时间留出要持续滚动. 一批新攻击被用于修复后转为回归, 下一期另建密封集. 红队系统若一直在同一终审集上选模型, 终审也会变开发集.

参考文献

1. Eric Wallace, Christopher A. Choquette-Choo, Nikhil Kandpal, Sam Toyer, Dylan Hunn, Stephanie Lin 等 (2026). GPT-Red: Automated Red Teaming via Self-Play at Scale. OpenAI. 威胁模型见第 3.2 节, 查询工具见第 4 节, 自博弈见第 5 节, 环境见第 6 节, GPT-Red 训练与评测见第 7 节, GPT-5.6 见第 8 节, 结论见第 9 节.
2. OpenAI (2026). GPT-Red: Unlocking Self-Improvement for Robustness. 84% 对 13% 的数字出自这篇说明.
3. Kaiqi Wang, Wenjin Hou, Yuchen Yan 等 (2026). Diving into Reliable Self-Evolving Agents: A Survey. §4.2 竞争式自博弈, §8 可靠性阶梯.

上一篇: 5.2.2 · 能力阈值与 System Card

下一篇: 6 · 自动研究与实验室