稀疏注意力同时改变模型看到的信息和机器执行的工作，单独测一边都会得出残缺结论。任务分数不下降，可能是基准根本不需要远程依赖；kernel 很快，可能对应的稀疏预算已经损坏关键能力；候选 recall 很高，也可能因索引与碎片读取让端到端更慢。完整评测需要把能力结果、选择机制和系统成本放在同一批请求上记录，才能回答“省下的工作是否值得”。
评测起点是三个配对基线。full attention给出当前checkpoint使用全部合法连接时的参照；相同物理预算的静态窗口说明不做内容路由能达到什么；oracle稀疏利用任务证据或稠密attention分数构造候选。按教师权重选top-能最大化保留的教师attention mass，但未必最大化任务准确率。固定checkpoint、预算与其余设置后，真实路由与该oracle的差距可用于诊断候选选择；oracle与full的差距反映这一具体选择规则下的删边影响。静态窗口与真实路由的配对则检验内容路由能否抵消其新增成本。
长度不是唯一难度轴
“支持 128K”只表示接口允许输入该长度，不能说明模型能利用最远位置。needle 检索适合检查远程复制，却可能被词面匹配解决。多 needle、变量追踪、集合运算、聚合与多跳组合逐步增加干扰和计算需求。同样长度下改变证据数量、位置、相似干扰项和推理步数，才能分辨模型是找不到信息，还是找到后不会使用。
RULER 将若干合成长上下文任务放进统一长度曲线，适合比较有效上下文随长度怎样退化。用于稀疏注意力时，还应控制候选预算与证据覆盖：若关键 token 根本没进入候选，失败属于路由；候选已覆盖却输出错误，问题可能在跨层传播或推理。对块级方法，证据 token 所在块被选中只说明可见，还要记录块内干扰和多证据是否同时入选。
真实文本任务提供另一类证据。长文问答、代码仓库理解、长对话状态和多文档综合包含自然噪声，但答案标注、长度与领域更难严格控制。合成任务用于定位机制，真实任务用于检查外部有效性，两者不能互相替代。困惑度可以观察整体语言建模变化，却可能对少数关键远程关系不敏感。
路由层要留下可归因记录
每条请求应保存目标证据位置、候选集合、保留 attention mass、候选 recall、不同 heads 的重合率、跨层刷新次数和回退事件。对于 indexer，top- 分数间隔与路由熵能显示决策是否稳定；对于页级方案，还要区分命中证据页与命中证据 token；对于状态压缩或驱逐，记录信息被删除的时间及后续是否再次需要。
只看平均 recall 会掩盖关键失败。一个方法在大量容易 token 上达到 99%，却在答案所依赖的稀有远程证据上持续漏召回，任务质量仍会明显下降。按依赖距离、证据数量、位置区间和查询类型分桶，可以找到预算在哪些条件下失效。最坏分位和尾部样本应与平均值一起报告。
跨层共享路线还需检查候选陈旧度。某层 indexer 产生的集合被后续多层复用时，表示已经变化；可以比较组首、组中和组尾相对于各自 dense oracle 的 recall。残差或共享专家可能补回部分信息，也可能让所有层共同继承一次错误。把逐层指标聚合成一个最终分数会丢掉这条路径。
系统层必须使用真实工作量
系统指标至少包括 TTFT、TPOT、吞吐、峰值显存、KV 容量、实际 HBM 读取字节、索引时间和 kernel 时间。Prefill 与 Decode 分开报告，因为前者 query 多、容易形成大矩阵，后者常受带宽与 launch 影响。训练方案还要加入 tokens/s、激活峰值、通信量和收敛所需 token。
逻辑 FLOPs 和理论稀疏率只能作为解释变量。物理 tile 向上取整、重复候选、页内无关 token、变长 padding 和回退到 full attention 都会增加实际工作。端到端计时要包含索引、候选整理和必要的数据迁移；若这些步骤在 CPU 或另一条 stream 上异步执行，也要用请求完成时间而非单个 GPU event 掩盖等待。
硬件、精度、batch、输入长度分布、KV 布局和编译配置都要固定。单条最长请求的加速不代表服务吞吐，多请求并发可能提高 tile 利用率，也可能让页表和 cache 竞争恶化。除了平均延迟，还应报告 P50、P95 或更高分位，防止少数候选异常多的请求拖慢服务。
把质量与成本画到同一条前沿
对每种方法扫描窗口、top-、块大小或保留槽位，可以得到一组质量—成本点。固定质量比较最小延迟或最小内存，固定预算比较最高质量，比挑一个预算点更公平。若某方法在所有预算上都被另一方法同时压过，它没有形成有效前沿；若不同方法在短上下文、超长上下文或不同 batch 下交叉，各自适用条件就应明确写出。
误差条同样重要。训练型方案应跨随机种子或至少报告训练波动，推理路由要对数据子集 bootstrap，系统测量则需要预热、重复和稳定时钟。微小质量差若落在统计噪声内，不能用来解释明显复杂度增加；微小延迟差若低于运行抖动，也不应宣称系统优势。
最终结果最好能沿一条请求回放：输入中的证据在哪里，indexer 选了哪些页，kernel 实际加载多少 tile，各层候选如何变化，输出是否正确，延迟花在哪些阶段。这样的记录既能调算法，也能定位实现错误。只有最终分数和总延迟时，质量下降与性能不达预期都很难追根。
质量与系统联合评测给出完整实验协议、指标表和归因顺序，RULER展开长度—复杂度任务及稀疏路线的配对方法。前者建立共同测量口径，后者提供能力压力测试；两篇合起来，才能判断一个稀疏方案是在真正减少无用工作，还是只在简单样本和理想 microbenchmark 上显得漂亮。
跨方法比较先对齐训练条件
原生稀疏模型、稠密模型的推理近似和缓存管理算法不应直接排成一张总榜。原生模型的表示已经适应拓扑，可以比较等训练预算下的最终质量与服务成本；推理近似应固定 checkpoint，比较稠密输出与稀疏输出；缓存策略则固定模型和 serving 配置，测容量—质量—延迟。把不同问题的数字混在一起，会把训练收益、结构收益和实现收益互相冒充。
基准污染也会扭曲长上下文结论。固定模板和少量词表可能让模型记住生成规律，路由器也可能依赖位置捷径。合成任务应随机化实体、位置和表述，并保留可验证的生成程序；真实任务则检查训练语料重叠与答案可判定性。若一个方法只在已知模板上保持质量，需要继续用分布外长度和新组合验证。
评测报告还应让读者能够复算关键结论。公开每个预算点、原始样本结果、计时区间、硬件与软件版本，给出失败样例中的候选集合和证据位置。平均分表适合快速浏览，机制记录决定结论能否被检查。稀疏注意力的变量很多，透明的逐请求记录比再增加一个未经解释的综合分数更有价值。