7.1 · 任务终局与成本评测

Agent 的最终答复只是运行产物之一。代码是否通过测试、表单是否提交、数据库是否达到目标状态、引用是否真正支持结论，都要从环境读取。终局评测把任务写成可检查谓词，并在固定预算和版本条件下重复运行。指标因此回答“系统在什么条件下，以多少代价，达到目标的概率是多少”，而非评价一段文字看起来是否可信。

1. 终局与完成谓词

1.1. 可验证状态

任务 $i$ 的成功写成 $S_i=V_i(E_T,x_i)\in{0,1}$。$E_T$ 是运行结束后的环境，$x_i$ 是任务初始条件，$V_i$ 是运行前冻结的 verifier。代码任务同时检查功能测试、禁止修改项和仓库状态；网页任务从服务端查询提交结果；数据任务检查记录内容、唯一性和约束。模型自称完成不进入 $S_i$。

verifier 要防止捷径。测试文件应位于策略不可写区域，页面截图不能替代后台状态，文件存在也不能证明内容正确。验证器本身用已知正例、等价实现、边界例和恶意产物测试。过弱会接受删测试、伪造日志等投机，过强则拒绝等价正确方案。

运行可能落在成功、明确失败、基础设施无效和状态未知四类终局。网络故障或评测容器崩溃不应记作模型失败；外部写入超时且无法查询时也不能武断记为未执行。无效试验重新抽样，未知状态单独报告并调查 Harness。

1.2. 部分完成与依赖

部分分数由真实子目标构成。设子目标 $g_j\in{0,1}$、权重 $w_j$，简单加权为 $P=\sum_jw_jg_j/\sum_jw_j$。若子目标存在依赖，只有前置节点成立时后继得分才有效。创建错误账户后成功写入资料，不能获得“资料填写”分数。

平均部分分要与完全成功率并列。十个任务都完成九成与九个任务全成、一个全败拥有相同平均部分分，产品含义完全不同。报告子目标覆盖、完整成功、阻塞位置和不可逆副作用，才能解释系统处于“差一点”还是持续无法闭环。

开放研究任务可把主张拆成可核验事实、来源质量、引用对应和覆盖率。judge 可评价表达，但事实支持应尽量由来源解析与人工抽查确认。看到答案后临时调整权重会产生研究者自由度，评分规则应随任务一起版本化。

1.3. 重复采样与pass@k

同一任务采样 $n$ 次，其中 $c$ 次成功。若从这 $n$ 次中不放回选择 $k$ 次，至少一次成功的无偏估计为

例如 $n=20,c=4,k=5$，pass@5 约为 $1-\binom{16}{5}/\binom{20}{5}=0.718$。它描述允许五次独立候选并由可靠选择器识别成功时的上限，不等于单次在线完成率。产品只允许一次执行时，应报告 pass@1。

Agent rollout 未必独立。共享缓存、同一网站状态和固定采样种子会造成相关性，直接套公式会高估有效多样性。每次运行使用独立环境快照与随机种子；若候选共享昂贵前缀，则明确其依赖结构。选择器若不能识别哪个候选成功，还要报告 select@k 或端到端选择成功率。

2. 成本、时延与联合效用

2.1. 成本向量

每次运行记录输入与输出 token、模型调用数、工具调用数、搜索或浏览费用、计算资源、人工审批次数和真实外部费用，形成成本向量 $C=(C_{tok},C_{tool},C_{money},C_{human})$。不同分量不应在没有价格假设时随意相加。

墙钟时延另行分解为模型生成、队列等待、工具执行、审批等待和恢复时间。均值会被长尾掩盖，至少报告中位数、P90、P95 与超时率。交互产品关注首个有效反馈，批处理关注完成时间和吞吐，两者使用不同 SLA。

失败运行同样消耗资源。仅统计成功轨迹成本会让频繁失败后偶然成功的系统显得便宜。每任务期望成本按全部尝试计算；允许自动重试时，把直到成功或预算耗尽的完整会话作为一次产品试验。

2.2. 联合效用

在明确业务价格时，可定义

$S$ 为任务收益，$T$ 为时延，$R$ 为风险或违规代价。系数来自业务容忍度，并做敏感性分析。改变系数可能改变系统排名，所以原始成功、成本、时延和风险必须一并保留。

例：系统 A 成功率 0.82、均价 0.40 元、P95 为 80 秒；B 为 0.79、0.12 元、35 秒。若每次成功价值 1，价格系数 0.5、每秒时延系数 0.002，则近似效用为 A：$0.82-0.2-0.16=0.46$，B：$0.79-0.06-0.07=0.66$。这不证明 B 普遍更好，只说明该价格假设偏好它。

没有可信价格时使用 Pareto 前沿。若 A 在成功率不低于 B 的同时成本、时延和风险都不高，A 支配 B；否则保留多种运行点。单一“性价比分”会隐藏高风险换成功或高时延换低价的取舍。

2.3. 预算曲线

在多个 token、步骤、时间和费用上限下运行同一系统，得到 $P(S=1\mid B)$。曲线揭示边际收益：前十步快速提升、随后平台，或只有极宽预算才偶然成功。固定一个宽松预算会把低效搜索误认为能力。

预算限制由 Runtime 强制，停止原因区分模型主动完成、模型放弃、控制器限额、权限阻塞和环境故障。系统可以动态分配预算，但策略使用了多少必须计入。根据任务难度预测预算的控制器，也作为被评系统的一部分。

比较曲线可计算预算区间内面积，但区间由真实产品范围决定。极端大预算下的收益不应覆盖常用范围的退化。还可报告达到 50%、75% 成功率所需成本，并对从未达到阈值的系统标记不可达。

3. 统计估计

评测总体必须在采样前定义。若产品面对所有仓库 Issue，却只抽取能在十分钟内完成的 Python 修复，置信区间只覆盖这个窄子集。任务清单记录纳入与排除规则、来源时间窗、语言和难度分布。人工过滤无法运行的题目时，过滤者不能看到某个系统的结果，否则会引入选择偏差。

重复运行有两层随机性：任务从总体抽样，以及同一任务上的模型采样和环境波动。设任务成功概率为 $p_i$，总体目标是 $E_i[p_i]$。每题运行很多次可以准确估计少量 $p_i$，却不能替代更多任务；预算分配应先保证任务覆盖，再为高方差任务增加重复。

分层 bootstrap 每次先重采样任务，再在选中任务内重采样 rollout，能够同时反映两层不确定性。若每题只有一次运行，就只能估计任务层差异。共享基础设施故障会让多个任务相关，按运行批次做 cluster bootstrap 可避免区间过窄。

样本量可以根据最小可检测差异预先估计。基线约 50% 时方差最大，想稳定区分两个百分点通常需要远多于几百道题。评测预算不足时，诚实报告宽区间并积累数据，比把随机波动写成版本提升更可靠。

3.1. 置信区间

$N$ 个独立任务的成功率估计为 $\hat p=\sum_iS_i/N$。小样本或接近零、一时，正态近似区间不稳，宜使用 Wilson 区间；任务上重复采样并存在层级结构时，以任务为重采样单位做 bootstrap，避免把同题多次 rollout 当作独立任务扩大样本量。

例如 100 个任务成功 62 个，点估计 62%。95% Wilson 区间约为 52.2% 到 70.9%，说明“提升两个百分点”远未必可辨。扩大每题采样次数主要估计策略随机性，扩大任务数才改善对任务总体的外推。

成本和时延通常偏态，bootstrap 中位数、分位数或截尾均值比均值正态区间稳健。超时按预设上限计入而非删除，否则时延分布被系统性美化。所有区间报告样本单位、重复次数和随机种子策略。

3.2. 配对比较

两个系统应在相同任务与环境快照上配对。对每题计算 $D_i=S_i^A-S_i^B$ 或效用差，再对任务 bootstrap。配对消除题目难度方差，比比较两个独立均值更有检验力。二元结果可查看只被 A 做对和只被 B 做对的任务数量。

多次尝试时固定每题种子集合，使环境随机性尽量对应，但不能强求不同策略产生相同步数。报告胜、负、平及区间，并预先规定主指标。尝试许多指标后只挑显著结果属于多重比较问题，需要校正或明确探索性分析。

统计显著不等于产品重要。十万简单任务上 0.2 个百分点可能显著，却不抵一次高风险错误；小型困难集上五个百分点区间很宽，却可能揭示真实缺陷。效应大小、区间、任务分层和实际代价共同解释。

3.3. 异质性与失败分布

总体平均按任务族、长度、工具数量、权限等级和环境波动拆分。模型可能在短代码任务提升、长浏览任务退化，平均值恰好不变。分层规则在看结果前确定，样本过少的层只展示描述统计。

每题难度与系统表现相关时，宏平均让任务权重相同，微平均可能让具有更多子目标或 rollout 的题权重更高。主报告通常采用任务宏平均，资源规划可补充按真实流量加权结果。权重来源和时间窗口需要公开。

失败分为模型决策、工具执行、权限、安全拒绝、验证器和基础设施。基础设施无效率过高时，主分数即使有区间也不可用，因为有效样本不再代表预定总体。

4. 污染与环境控制

环境控制还包括顺序效应。先运行某模型可能预热依赖缓存、消耗 API 限额或改变外部索引，使后运行者面对不同条件。系统顺序按任务随机交错，冷缓存与热缓存作为明确实验条件分别测试。模型之间共享只读缓存时，缓存构建成本也需计入或统一摊销。

任务泄漏可能通过工具发生。即使模型权重未见答案，搜索引擎已索引 benchmark 讨论，仓库分支含参考提交，测试日志暴露期望输出，Agent 仍可绕过实际求解。评测环境列出所有可访问数据源，对命中题目标题、补丁片段和隐藏测试名称的请求做污染标记。

污染检测不能通过删除高分题完成。按预定规则识别可疑重叠，再同时报告全量与去污染子集；临时查看模型是否答对后决定删除会人为改变结果。私有集也会随着内部反复开发逐渐污染，因此使用创建日期和首次暴露版本维护接触记录。

4.1. 训练污染

公开 benchmark 的题目、参考补丁、测试和讨论可能进入预训练或微调数据。高分可能来自记忆具体答案，而非可迁移能力。时间切分选取模型训练截止后产生的任务，私有变体改变实体与环境，行为检查观察模型是否直接给出未展示的隐藏细节。

简单改写题面不能消除语义污染。代码仓库相同、漏洞位置相同或测试结构相同，仍可能被记忆。按项目和模板族隔离，建立近重复检索，并报告已知重叠。无法证明干净时，将结果称为公开集表现，不宣称未见任务泛化。

污染也来自评测迭代。团队反复查看测试失败并调整系统，测试集逐渐成为开发集。保留一次性封闭集或滚动新增任务，限制详细反馈次数，并记录每个版本接触过哪些样本。

4.2. 环境重置

每次运行从已知快照开始，隔离文件、数据库、账户、缓存和外部副作用。前次运行留下的依赖、登录态或目标产物会降低后续难度，也可能使 verifier 在未执行动作时直接通过。运行后比较环境哈希和资源清单，确认重置完整。

无法重置的服务为每次试验创建唯一资源，并在 verifier 中绑定该标识。真实邮件、支付和发布操作使用模拟器或测试租户。清理失败作为 Harness 事件上报，不能让下一次继续使用污染状态。

并发试验需要命名空间、配额和随机种子隔离。共享限流可能让某一系统因运行顺序承受更多 429；采用交错顺序、随机化调度或独立配额，并把外部服务状态记入元数据。

4.3. 可复现实验协议

实验清单冻结模型与 checkpoint、采样参数、系统提示、工具 schema、Runtime 版本、环境镜像、任务版本、预算、并发度、verifier 和 judge。任何一项变化都产生新实验 ID。原始轨迹、环境终局和评分证据使用受控引用保存。

发布结果包含任务数、每题尝试数、无效运行、点估计、置信区间、成本分布、预算曲线和分层结果。最佳单条轨迹只用于案例分析，不能替代总体统计。失败样本保留到能够复测同一状态的程度。

协议还要写明选择规则：多个 checkpoint、提示或 Harness 候选怎样使用开发集选择，最终测试运行几次，是否允许人工重试。缺少选择成本的报告会把大量试验后的最佳结果伪装成单次性能。

5. 反例与验收

验收还要处理缺失数据。若某系统在困难任务上频繁使环境崩溃，删除这些运行会让剩余样本偏向简单任务。由系统触发的资源耗尽计作失败或单独安全失败；与系统无关的机房故障才作为无效试验。判定规则必须在查看模型身份前执行。

人工审批会改变比较边界。一个系统频繁请求人类代做关键决定，成功率可能很高，却转移了劳动。记录审批次数、等待时间、展示信息和人工输入内容；若审批者还修正参数，该运行属于人机联合系统，不应与全自动系统直接比较。

早停会产生审查偏差。开发者看到前二十题表现差就终止某版本，却让另一个版本跑满，最终样本不可比。顺序测试需要预设停止边界和统计方法；普通固定样本协议则一律跑完，除非触发安全停机。安全停机数量本身进入报告。

对于每日变化的在线任务，固定 benchmark 估计可复现能力，滚动集估计当前适应性。滚动集按时间窗口报告，不能把不同日期的系统分数直接排名。使用锚点任务监测环境难度变化，再用新任务检验泛化，两条序列共同解释趋势。

成本敏感性通过改变 $\lambda_m$、$\lambda_t$ 和风险权重绘制排名区域。若一个系统只在极窄系数范围内领先，决策对业务假设脆弱；若在广泛合理范围内都占优，结论更稳健。系数范围由产品约束或历史数据决定，不根据希望的排名反推。

最终报告附带机器可读运行记录和聚合代码版本。第三方应能从原始终局、成本与无效试验重算主表。隐私产物可用哈希和受控验证结果替代，但不能只留下无法核查的汇总数字。评测可复现性属于系统能力证据的一部分。

5.1. 常见误判

“平均分更高，所以系统更可靠”是典型误判。一个系统在所有任务获得 0.8 部分分，却从未完整闭环；另一个系统 70% 全成、30% 失败。若产品要求自动交付，后者可能更有价值。部分分、完全成功和风险必须分别查看。

“pass@10 很高，所以可上线”也不成立。十次候选会增加成本，真实动作可能不可重复，系统还需一个可靠选择器。代码生成可在隔离环境测试十个补丁，付款或发送邮件却不能执行十次再挑一个。

“成本只算 token”会偏爱把工作转移给昂贵搜索 API、浏览器和人工审批的系统。完整成本向量及墙钟分解可以暴露这种转移。免费但不稳定的外部服务也有失败与等待成本。

5.2. 验收门槛

上线门槛按风险分层。低风险草稿任务可接受较低成功率并由用户复核；不可逆写入要求更高终局成功、近零越权、明确审批和未知提交处置。门槛基于置信区间下界，而非点估计刚好越线。

回归规则同时约束主成功率、关键任务层、安全、P95 时延和单位成功成本。新模型整体提升却在高风险子集显著退化时不能直接替换。允许的退化幅度和例外审批在实验前定义。

评测最终交付的是可重复的判断链：任务从哪个总体抽取，环境如何重置，成功怎样验证，成本怎样记录，不确定性怎样估计，污染怎样控制。分数只有嵌入这条链，才具备比较和决策意义。

门槛附近的系统应增加样本，而非反复更换随机种子直到通过。若预设下界为 80%，当前点估计 83% 但区间为 76%—88%，证据仍不足。追加试验沿用原协议和任务抽样框，不能只补做模型擅长的类别。达到预先规定的样本量或区间宽度后再判断。

持续评测还需设置锚点和新鲜任务。锚点监测基础设施、verifier 与模型长期漂移，新鲜任务减少开发污染。锚点突然全体下降时先排查环境，新鲜任务下降而锚点稳定时更可能是泛化问题。两类任务的结果分别展示，不合成一个无法解释的平均数。

当结论用于高风险发布，保留独立复核：另一执行批次重新创建环境、运行聚合代码并核对失败样本。复核验证同一协议能否得到相容区间，禁止重新挑选指标。任何手工排除和运行重启都写入审计记录。复核批次若超出原区间，要暂停发布并检查环境、随机性与数据处理差异；不能简单取两批中更高的结果。最终决定连同证据版本保存，便于发布后回看预测与真实表现是否一致。 评测任务集需要预先定义目标总体。面向真实仓库 Issue 的系统，不能只抽取十分钟内可解决的 Python 小修；面向浏览器采购的系统，也不能全用静态表单。任务来源、时间窗口、语言、风险和难度构成抽样框，排除规则在运行前冻结。

分层抽样让高风险或罕见任务得到足够样本，汇总时再按真实流量或预设总体权重还原。直接把每层相同数量做平均，会夸大罕见类别。主报告同时给宏平均和产品流量加权结果，并说明权重来源。

任务难度不应由被评系统结果定义。可使用独立基线、人工步骤、工具数和环境复杂度分层。根据某模型是否成功再分“简单/困难”，随后比较另一模型，会产生循环定义与选择偏差。

重复采样的两层随机性需要分开：任务从总体抽样，以及策略在同一任务上的随机 rollout。每题运行更多次能估计 $p_i$，但只有增加任务才能改善 $E_i[p_i]$ 的总体外推。预算有限时先保证任务覆盖，再增加高方差题的重复。

分层 bootstrap 每次重采样任务，再在选中任务内重采样 rollout。若多个任务共享同一网站故障或运行批次，按批次 cluster，避免把相关失败当独立。报告区间时写明重采样单位与次数。

序贯评测可以提前停止明显优劣版本，但边界必须预先设计。每看一批结果就用普通显著性检验并决定是否继续，会膨胀假阳性。若不使用序贯统计，固定样本协议就完整运行，不因中途走势改变样本数。

多模型、多提示和多指标选择会产生赢家诅咒。开发集上挑出的最佳配置，其分数包含选择噪声；最终封闭集只运行预定候选和选择规则。测试集反复用于改提示后，它已经转为开发集，需要新的封闭任务。

pass@k 的使用要求候选可安全并行且选择器能识别成功。代码补丁可以在隔离仓库测试多个候选，付款和发送不能实际执行多次。对于有副作用任务，k 次应停留在计划或 dry-run 层，最终只提交一个候选。

候选相关性会降低 pass@k 的实际收益。同一模型低温采样十次可能产生近重复路径，公式基于观察到的成功数估计有限样本组合，却不能保证未来独立。报告候选动作图多样性和环境隔离，避免把重复输出当探索。

选择器本身进入系统边界。oracle pass@k 假设总能挑到成功候选，实际 selector 可能被流畅错误迷惑。分别报告 oracle pass@k、verifier select@k 和端到端提交成功，三者差距定位生成与选择问题。

部分完成分数要经过单调性检查：新增真正完成的子目标不应降低分数，完成依赖缺失的下游节点不应获得满分。权重反映业务价值而非实现难度。否则系统会优先刷便宜子项，回避核心目标。

成本是随机变量，不只是均值。重试、长尾工具和审批让分布偏斜，报告中位数、P90/P95、超时和单位成功成本。失败运行全部计入期望成本，不能只对成功轨迹求平均。

单位成功成本可以写为总成本除以成功任务数，但成功数很小时极不稳定。用 bootstrap 给出区间，并同时展示每尝试成本和成功率。两个指标让读者知道成本上升来自单次昂贵还是更多失败。

墙钟时延分解为模型、队列、工具、审批和恢复。优化模型生成只减少一小部分时延时，产品收益有限。并发提升吞吐却可能不降低单任务 P95，报告要区分吞吐与响应。

风险成本不宜全部线性货币化。敏感数据外泄和未经批准付款设硬门槛，在满足安全约束的系统中再比较联合效用。否则一个高成功率模型可以用少量严重事故换取平均总分领先。

效用系数来自实际业务：成功价值、人工时薪、延迟损失和外部费用。对合理系数范围做敏感性分析，绘制哪个系统在何种假设下领先。根据希望的排名反推系数没有决策价值。

预算曲线应使用相同任务和预算定义。token 上限、工具步数、墙钟与费用不是等价轴，可以分别绘制。动态预算控制器也是被评系统的一部分，它若能为困难任务追加资源，应把追加成本计入。

污染检测结合文本近重复、仓库历史、来源时间和行为信号。模型直接输出隐藏测试名或参考补丁片段是可疑证据，但没有命中不代表无污染。报告已知重叠与去污染子集，不宣称无法证明的“完全干净”。

搜索工具可能在评测时找到 benchmark 解答，即使权重训练截止早于题目。环境限制可访问域，或将命中公开讨论标为污染。真实产品允许搜索时，也应单独报告开放网能力与闭卷泛化，两者回答不同问题。

环境漂移通过锚点任务监测。固定模型定期运行同一受控任务，若所有版本同时下降，优先排查网站、依赖或 verifier；新鲜任务则测当前泛化。锚点和滚动集不能混成一个趋势数字。

缺失数据按原因处理。评测平台故障使试验无效并重跑，策略造成 OOM 或无限循环属于系统失败，未知外部提交单独报告。删除困难任务上的崩溃会让剩余样本偏向简单，产生虚高。

上线门槛使用置信区间下界与关键子集约束。总体 85% 但高风险任务只有少量样本、区间下界很低，不能宣称达标。门槛附近追加样本沿用原抽样框，不只补做模型擅长类别。

回归判定同时看成功、安全、P95 和单位成功成本。新版本整体提升但在某个核心任务族显著退化，需要阻断或限定流量。允许退化幅度和例外流程在看结果前定义。

评测产物包括任务清单版本、环境镜像、每次终局证据、成本事件、无效试验、聚合代码和报告。第三方能从原始记录重算主表。隐私内容可用受控 verifier 与哈希替代，但不能只留下不可核查分数。

任务终局评测用于估计特定总体、预算和风险条件下的系统行为，寻找一个最大数字无法完成这一目标。抽样、verifier、成本与统计协议共同定义分数；离开这些条件，模型排名没有稳定含义。

对于持续变化的产品流量，离线 benchmark 与在线实验承担不同角色。离线集提供可复现回归，在线影子流量估计真实任务构成与工具故障。在线 A/B 必须保证动作风险等价；涉及写入时可比较 dry-run 或建议质量，不能让用户随机承担未经验证的副作用。

在线指标还会受用户选择影响。更强系统可能接到更难任务，简单比较完成率会低估它；路由器又可能把高价值任务只给旧系统。记录进入条件与路由概率，必要时做分层或倾向修正。无法校正时，结果只描述实际流量。

人工满意度适合补充体验，却不等于任务终局。用户可能喜欢流畅失败，也可能不喜欢安全拒绝。问卷把正确性、解释、等待和控制感分开，结合环境成功与风险分析。一个总星级很难指导系统修改。

测试预算纳入研发决策。高保真浏览环境昂贵，可用分层漏斗：静态检查淘汰明显错误，小规模交互筛选候选，封闭高保真集做最终判断。各层通过标准与误差已知，便宜代理不能直接宣布上线。

基准任务退役有明确条件：环境无法恢复、污染严重、verifier 不可修复或不再代表产品。退役记录保留历史分数与原因，不把旧曲线和新任务直接连接。替代任务通过锚点系统建立难度关系。

报告案例按预定规则抽取，包括普通成功、低成本失败、高成本成功和安全阻断。只展示戏剧性错误会扭曲频率，只展示最佳轨迹又掩盖方差。案例承担解释功能，统计表承担总体判断。

评测审计检查命令与聚合是否可复现。随机种子、容器镜像和依赖锁固定，聚合脚本对缺失与重复运行有断言。机器生成主表并链接原始 experiment ID，减少手工筛选错误。

成熟制度允许得出“证据不足”。样本太少、环境无效率过高或区间横跨发布门槛时，继续收集或修 Harness。强行给出胜者会把统计不确定性转成错误产品决策。

当评测结果用于预算采购，还要报告规模外推假设。小并发下的 token、缓存命中和工具限流未必适用于峰值流量。用负载阶梯测吞吐、尾延迟和失败率，成本模型按真实计费阶梯计算。单任务实验只能支持单任务结论。

模型服务、搜索 API 与人工审批的价格会变化。报告保留原始资源量，货币成本按指定价格表派生；价格更新后可以重算，而不用重跑全部任务。只有货币总额、没有 token 与调用明细，会让历史结果失去可比性。

发布后把真实指标与评测预测对照。若离线成功很高、线上未知提交却增加，说明任务集或 Harness 漏掉关键状态。偏差进入下一版抽样与环境设计，不能通过调整线上指标定义掩盖。

这一反馈不直接修改既有测试答案，而是新增代表性任务或修复环境模型，并在旧版与新版系统上同时运行。只有这样，评测演进才不会天然偏向当前模型。