失效机制只有进入可重复的测量,才能变成控制条件。RSI 系统的评测比普通模型评测多一层困难:被测对象会持续变化,还可能读取评测结果、围绕测试集搜索,甚至修改产生分数的标准。一次离线得分只描述某个版本在某批任务上的状态,无法单独支撑「系统会继续安全地改进」。
这条路线把三类工作连起来。基准负责测量改进是否跨任务保留;能力阈值与 System Card 把测量结果变成权限和部署决策;红队自博弈持续寻找现有评测没有覆盖的攻击面。三者形成循环,但控制权不能全部交给被测系统:基准中要有锁定部分,阈值由外部规则执行,红队发现的新失败要先进入隔离评测,再决定是否改变训练。
1. 评测单位随系统层级变化
L0 的单位是一条任务轨迹,比较搜索或修订前后的成功率与额外成本。L1 要比较参数版本在独立任务上的迁移与遗忘。L2 还要固定模型参数,分离技能、记忆和 harness 带来的收益。L3 的对象是改进器,需要比较它从相同起点出发、在相同预算下找到有效改动的能力。L4 同时改变系统和标准,必须做新旧系统与新旧标准的交叉评估。
因此不存在一张分数表覆盖全部层级。设版本 在任务分布 和评判器 下的结果为 。当改进过程看过 的结果时, 是搜索反馈,不再是无偏验收。最终接受应使用锁定分布 ,并保留父版本的配对结果:
同题配对能降低方差,也能直接看到能力交换:哪些题由错变对,哪些由对变错。若只报平均分,少数严重退化可能被大量微小提升盖住。
自适应基准解决的是测试集逐渐被系统学会的问题。它可以从新任务生成、真实流量或对抗搜索中补充样本,但新增任务也要经过难度、可判定性和污染检查。基准一直变化时,要保留公共锚题和版本化任务集,否则不同时间的分数没有共同坐标。
2. 阈值把分数变成权限
能力阈值是特定能力、资源和访问条件下的控制点。自动研究系统能否运行实验、能否修改训练代码、能否扩大计算预算、能否把改动部署到生产,分别需要不同证据。把所有风险压成一个总分,会让强项抵消关键弱项。
阈值至少包含测量对象、测试条件、置信规则、触发动作和复测周期。例如,在固定工具权限和预算下,系统连续通过某类高风险任务后会触发更严格评测;在某类欺骗或规避测试上超过警戒线,则缩小可用工具并要求人工复核。阈值服务于决策,所以必须提前定义动作,不能看到结果后再挑一种解释。
System Card 把这些信息组织成版本记录:模型和脚手架配置、评测套件、已知失效、能力边界、缓解措施与部署范围。对于持续自改系统,卡片还要记录谱系和更新权限。两个共享基础模型但 harness 不同的版本可能有完全不同的行动能力;同一模型接入新的代码执行和实验集群后,旧卡片也不能继续代表它。
能力阈值与 L0–L4 是两条轴。层级描述系统改了什么,阈值描述它在某种风险能力上到达哪里。一个 L2 harness 可以因为工具权限很大而具有高风险;一个 L3 原型也可能只在小沙箱里做低影响实验。把两条轴混在一起,会把「递归更深」误写成「必然更危险」,也会漏掉浅层但权限很大的系统。
3. 红队如何进入持续循环
静态红队集会被反复训练和调参逐渐吃透。攻防自博弈让攻击者根据防守者当前行为生成新攻击,防守者再从这些样本中学习。它能把测试分布推向能力边界,却也会带来共同过拟合:攻击者只会一种风格,防守者学会识别表面模式,双方胜率看似改善,真实攻击面没有缩小。
一个可用的红队循环需要三个数据面。训练面允许攻击与防守互相适应;开发面用于挑选攻击策略和修复方案;锁定面由独立攻击、人工案例或真实事件构成,双方都不能直接优化。攻击成功还要按危害、可复现性、所需权限和成本分层,不能把轻微格式越界与可执行的高影响行为简单平均。
GPT-Red 一类方法把攻击生成、目标模型和防守更新放进统一游戏。读实验时应检查奖励究竟鼓励发现新漏洞,还是只鼓励让某个分类器打高分;攻击者是否接触防守训练数据;最终结果是否在不同模型、不同提示风格和未见工具上复现。只有攻击分布真的扩展,红队循环才为治理增加信息。
红队结果进入训练之后还要防止评测污染。发现的样本可以形成训练变体,但原始事件、同族变体和锁定复测集要分开;修复上线后同时检查目标漏洞和邻近正常能力,避免用大范围拒答换取安全分数。失败案例被写入 System Card,相关能力阈值和工具权限随证据调整,才形成从发现到控制的闭环。
持续部署还需要序贯监测。每天反复查看同一指标并在第一次超过阈值时宣布成功,会抬高假阳性率;固定样本量检验不能直接套在无限观察的流上。可以使用预先设定的检查时间、置信序列或 alpha spending,让任意停止时的错误率仍受控制。对于安全事件,更适合设置高敏感度告警和后续复核,而不是等总体均值显著变化。
阈值触发后应保留事件上下文。仅记录「超过 0.7」无法判断是模型变化、任务分布变化还是评测器版本变化。记录至少包含系统版本、脚手架、权限、任务簇、评测器、样本窗口与不确定性。阈值若被重新定义,旧结果仍按旧规则保留,新规则从明确版本开始生效,避免历史曲线被回算成另一种含义。
测量体系本身也要接受压力测试。让独立红队尝试用无害高分掩盖危险子群、用重复样本提高置信度、通过输出格式绕过判定器,可以提前暴露治理链里的薄弱环节。被测系统攻击模型行为,评测红队攻击的是测量和晋升规则;两者共同决定 System Card 上的结论能不能支撑权限决策。
评测基准 讨论直接自演化基准、自主研发评测和自适应任务集的口径。能力阈值与 System Card 把结果映射到权限、复测和版本披露。GPT-Red 安全红队自博弈 展开攻击分布怎样随防守移动。三篇分别负责测量、决策和找漏,任何一篇都不能替代另外两篇。