Browse this library

Chinese source article

5.2 · 评测与安全治理

把基准、能力阈值、System Card 与攻防自博弈连成一条从测量到控制的安全路线。

View original Markdown ↗

失效机制只有进入可重复的测量,才能变成控制条件。RSI 系统的评测比普通模型评测多一层困难:被测对象会持续变化,还可能读取评测结果、围绕测试集搜索,甚至修改产生分数的标准。一次离线得分只描述某个版本在某批任务上的状态,无法单独支撑「系统会继续安全地改进」。

这条路线把三类工作连起来。基准负责测量改进是否跨任务保留;能力阈值与 System Card 把测量结果变成权限和部署决策;红队自博弈持续寻找现有评测没有覆盖的攻击面。三者形成循环,但控制权不能全部交给被测系统:基准中要有锁定部分,阈值由外部规则执行,红队发现的新失败要先进入隔离评测,再决定是否改变训练。

1. 评测单位随系统层级变化

L0 的单位是一条任务轨迹,比较搜索或修订前后的成功率与额外成本。L1 要比较参数版本在独立任务上的迁移与遗忘。L2 还要固定模型参数,分离技能、记忆和 harness 带来的收益。L3 的对象是改进器,需要比较它从相同起点出发、在相同预算下找到有效改动的能力。L4 同时改变系统和标准,必须做新旧系统与新旧标准的交叉评估。

因此不存在一张分数表覆盖全部层级。设版本 aa 在任务分布 dd 和评判器 cc 下的结果为 J(a;d,c)J(a;d,c)。当改进过程看过 ddevd_{dev} 的结果时,J(a;ddev,c)J(a;d_{dev},c) 是搜索反馈,不再是无偏验收。最终接受应使用锁定分布 dholdd_{hold},并保留父版本的配对结果:

Δ=Ex∼dhold[m(anew,x,c)−m(aold,x,c)].\Delta=\mathbb E_{x\sim d_{hold}}[m(a_{new},x,c)-m(a_{old},x,c)].

同题配对能降低方差,也能直接看到能力交换:哪些题由错变对,哪些由对变错。若只报平均分,少数严重退化可能被大量微小提升盖住。

自适应基准解决的是测试集逐渐被系统学会的问题。它可以从新任务生成、真实流量或对抗搜索中补充样本,但新增任务也要经过难度、可判定性和污染检查。基准一直变化时,要保留公共锚题和版本化任务集,否则不同时间的分数没有共同坐标。

2. 阈值把分数变成权限

能力阈值是特定能力、资源和访问条件下的控制点。自动研究系统能否运行实验、能否修改训练代码、能否扩大计算预算、能否把改动部署到生产,分别需要不同证据。把所有风险压成一个总分,会让强项抵消关键弱项。

阈值至少包含测量对象、测试条件、置信规则、触发动作和复测周期。例如,在固定工具权限和预算下,系统连续通过某类高风险任务后会触发更严格评测;在某类欺骗或规避测试上超过警戒线,则缩小可用工具并要求人工复核。阈值服务于决策,所以必须提前定义动作,不能看到结果后再挑一种解释。

System Card 把这些信息组织成版本记录:模型和脚手架配置、评测套件、已知失效、能力边界、缓解措施与部署范围。对于持续自改系统,卡片还要记录谱系和更新权限。两个共享基础模型但 harness 不同的版本可能有完全不同的行动能力;同一模型接入新的代码执行和实验集群后,旧卡片也不能继续代表它。

能力阈值与 L0–L4 是两条轴。层级描述系统改了什么,阈值描述它在某种风险能力上到达哪里。一个 L2 harness 可以因为工具权限很大而具有高风险;一个 L3 原型也可能只在小沙箱里做低影响实验。把两条轴混在一起,会把「递归更深」误写成「必然更危险」,也会漏掉浅层但权限很大的系统。

3. 红队如何进入持续循环

静态红队集会被反复训练和调参逐渐吃透。攻防自博弈让攻击者根据防守者当前行为生成新攻击,防守者再从这些样本中学习。它能把测试分布推向能力边界,却也会带来共同过拟合:攻击者只会一种风格,防守者学会识别表面模式,双方胜率看似改善,真实攻击面没有缩小。

一个可用的红队循环需要三个数据面。训练面允许攻击与防守互相适应;开发面用于挑选攻击策略和修复方案;锁定面由独立攻击、人工案例或真实事件构成,双方都不能直接优化。攻击成功还要按危害、可复现性、所需权限和成本分层,不能把轻微格式越界与可执行的高影响行为简单平均。

GPT-Red 一类方法把攻击生成、目标模型和防守更新放进统一游戏。读实验时应检查奖励究竟鼓励发现新漏洞,还是只鼓励让某个分类器打高分;攻击者是否接触防守训练数据;最终结果是否在不同模型、不同提示风格和未见工具上复现。只有攻击分布真的扩展,红队循环才为治理增加信息。

红队结果进入训练之后还要防止评测污染。发现的样本可以形成训练变体,但原始事件、同族变体和锁定复测集要分开;修复上线后同时检查目标漏洞和邻近正常能力,避免用大范围拒答换取安全分数。失败案例被写入 System Card,相关能力阈值和工具权限随证据调整,才形成从发现到控制的闭环。

持续部署还需要序贯监测。每天反复查看同一指标并在第一次超过阈值时宣布成功,会抬高假阳性率;固定样本量检验不能直接套在无限观察的流上。可以使用预先设定的检查时间、置信序列或 alpha spending,让任意停止时的错误率仍受控制。对于安全事件,更适合设置高敏感度告警和后续复核,而不是等总体均值显著变化。

阈值触发后应保留事件上下文。仅记录「超过 0.7」无法判断是模型变化、任务分布变化还是评测器版本变化。记录至少包含系统版本、脚手架、权限、任务簇、评测器、样本窗口与不确定性。阈值若被重新定义,旧结果仍按旧规则保留,新规则从明确版本开始生效,避免历史曲线被回算成另一种含义。

测量体系本身也要接受压力测试。让独立红队尝试用无害高分掩盖危险子群、用重复样本提高置信度、通过输出格式绕过判定器,可以提前暴露治理链里的薄弱环节。被测系统攻击模型行为,评测红队攻击的是测量和晋升规则;两者共同决定 System Card 上的结论能不能支撑权限决策。

评测基准 讨论直接自演化基准、自主研发评测和自适应任务集的口径。能力阈值与 System Card 把结果映射到权限、复测和版本披露。GPT-Red 安全红队自博弈 展开攻击分布怎样随防守移动。三篇分别负责测量、决策和找漏,任何一篇都不能替代另外两篇。