Agent 评测面对的是一个闭环系统。模型输出动作，Runtime 执行动作，环境产生新状态，验证器判断终局；工具描述、权限、预算和并发策略都会改变结果。答案相似度无法证明动作已经生效，一条顺畅演示也无法估计随机策略、外部环境和长尾故障。
完整评测同时回答四个问题：任务是否在环境中完成，完成用了多少资源与时间，过程中发生了哪些有效或危险动作，结果在重复试验和新任务上是否稳定。单项分数可以服务局部开发，却不能代替系统结论。
1. 从任务到实验单元
1.1. 任务、环境与完成谓词
每个任务由初始状态、可用工具、权限、预算和完成谓词组成。代码修复需要仓库快照与测试，浏览任务需要账户和后台状态，研究任务需要主张与来源对应。自然语言提示相同而环境不同，属于不同实验条件。
完成谓词在运行前冻结，并从模型无权伪造的位置读取。模型说“已经发送”只是声明，工具回执和服务端记录才是事实。部分完成由真实子目标及依赖关系定义，不能凭回答流畅度随意给分。
基础设施故障、状态未知与任务失败分开。评测容器损坏通常使试验无效，策略触发资源耗尽则属于系统失败；外部写入超时且无法查询时标记未知。分类规则先于结果制定。
1.2. 被评系统边界
模型、系统提示、工具 schema、Runtime、上下文压缩、重试和停止策略共同构成被评系统。只替换模型时固定其余组件，评估 Harness 时固定模型。若多处同时变化，只能比较两个产品版本，无法归因某个改动。
人工审批也是边界的一部分。审批者只确认预览，与审批者修改参数、补充计划是两种系统。记录人工输入、次数和等待时间，避免把人的能力计入全自动 Agent。
训练期见过哪些任务也影响结论。公开 benchmark 可能已进入预训练或搜索索引，私有集会因反复调试变成开发集。任务接触记录、时间切分和模板族隔离决定分数能否代表未见分布。
2. 终局、成本与不确定性
2.1. 成功概率与pass@k
任务终局与成本评测从环境谓词定义成功。单次自动运行报告 pass@1；允许生成多个候选并由可靠 verifier 选择时，可以报告 pass@k。二者对应不同产品能力，不能用多次尝试上限替代单次可靠性。
重复采样同时受任务难度、模型随机性和环境波动影响。增加每题 rollout 能更准估计该题成功概率，增加任务数才能改善对任务总体的外推。置信区间以任务为主要重采样单位，不能把同题大量 token 当成独立样本。
点估计差异小于区间时，结论应是证据不足。配对实验让两个系统面对相同任务与环境快照，能够消除大量题目难度方差。报告效应大小、区间、样本数和无效试验，比只标一个最高分更有用。
2.2. 联合效用
成功率必须与 token、工具调用、外部费用、墙钟时延、人工劳动和风险共同解释。失败轨迹也消耗资源；只统计成功案例成本，会奖励大量试错后偶然成功的系统。时延报告中位数与长尾分位数，均值不能描述超时体验。
有明确业务价格时，用效用函数组合成功收益与成本；价格不明确时展示 Pareto 前沿。预算曲线在不同 token、步骤和时间上限下测成功率，能够区分高效能力与宽预算搜索。
风险不能用有限成本轻易抵消。越权、敏感数据外泄和不可逆副作用设硬门槛，再在安全集合中比较效用。一个靠危险调用提高成功率的系统不应因总分较高上线。
3. 轨迹与故障诊断
3.1. 因果观测
轨迹评测与故障归因把模型决定、工具执行、环境观察、状态提交和 verifier 串成事件因果链。父事件、资源版本和逻辑序号比单纯时间戳更能还原并发轨迹。
过程指标检查动作是否推进目标、观察是否影响后继决定、错误是否被识别，以及恢复增加了多少成本和副作用。动作少可能高效，也可能过早终止；动作多可能冗余，也可能是任务本身复杂。终局条件相近时，过程比较才有明确意义。
首次偏离寻找最早显著降低成功概率的事件。末尾错误经常只是早期状态污染的症状。模型、执行器、环境、观察管道、Runtime 和 verifier 分层归因，使修复落到真正负责的组件。
3.2. 反事实与长程断点
反事实重放从一致检查点替换一个候选事件，比较续跑成功率变化。补回被截断观察、修正单个参数或更换 verifier 的干预，比直接提供完整答案更能定位原因。随机策略需要多次续跑与区间。
长轨迹先按计划节点、工具调用和 compaction 划段，找到进展停止的阶段，再在段内缩小。完整上下文、原摘要与修复摘要的对照可以检验压缩是否遗漏关键状态。
真实网页和外部交易难以精确重放，结论受模拟器覆盖限制。旧 observation 上的新策略评测只能说明前缀决策，无法替代端到端交互。诊断协议必须标明反事实的可实现范围。
4. 评审偏差与环境控制
4.1. Verifier和Judge
verifier 也会产生假阳性与假阴性。测试覆盖不足可能接受捷径，固定格式可能拒绝等价方案。已知正例、错误例、等价变体和攻击样本用于校验 verifier，原始环境证据随结果保存。
模型 judge 适合开放文本与策略判断，却受长度、措辞、候选位置、同源偏好和提示注入影响。使用人工集校准，随机交换顺序，优先采用带事件证据的离散标签。多个相关 judge 的一致不能自动成为真值。
人工标注需要边界案例与独立重叠样本，报告一致率。证据引用事件和状态变化，不猜测模型内部动机。无法一致分类的类别应改善定义或保留不确定性。
4.2. 环境与污染
每次运行从已知快照开始，隔离文件、缓存、账户和外部资源。系统顺序随机交错，防止前一模型预热缓存或消耗限额。不可重置服务为每次试验创建唯一资源，并核对清理结果。
污染既来自模型训练，也来自搜索工具、参考提交、隐藏测试泄漏和团队反复查看测试集。时间切分、近重复检索、项目级隔离和一次性封闭集共同控制。无法证明干净时，报告公开集表现，避免泛化过度。
实验清单冻结模型、提示、工具、预算、环境、并发、verifier 和 judge。任一项变化产生新实验 ID，原始轨迹和聚合代码版本可用于重算结论。
5. 报告与决策
5.1. 分层报告
主表包含完全成功、部分完成、置信区间、无效运行、成本、P95 时延和安全事件。结果按任务族、长度、工具数量与风险分层，避免平均值掩盖长任务退化。
失败分布同时报告首次偏离层、位置和恢复情况。代表案例从预定分层随机抽取，覆盖普通成功、恢复成功和不可恢复失败；挑选最顺畅演示不能代表总体。
机器可读记录允许从原始终局重新聚合。涉及隐私的产物用受控引用与哈希替代，但保留验证所需证据。结果没有可追溯实验条件，就不能用于版本决策。
5.2. 回归门槛
上线门槛按风险划分。草稿任务允许用户复核，不可逆写入要求更高成功率、明确审批和近零越权。门槛使用置信区间下界，点估计刚好越线不足以证明稳定。
回归规则约束总体成功、关键子集、安全、长尾时延和单位成功成本。整体分数提高却在高风险任务明显退化时，不能直接替换。允许退化幅度在实验前确定。
评测闭环从终局发现差异，经轨迹定位首次偏离，以反事实检验原因，再由对应层修复并配对复测。最终交付的核心是可重复判断链：任务怎样抽取，环境怎样重置，成功怎样验证，成本怎样记录，偏差与不确定性怎样处理。