Generated by Answer me with HTML 0.5.10 · 2026-11-16 20:20 · ★ Star on GitHub

Agent Harness 怎么评测

Lead: 端到端跑分衡量模型与 harness 的组合。要估计 harness 的贡献,要固定模型做配对实验。要定位具体机制的贡献,再做组件消融。

A

一次评测怎么跑

任务与初始环境模型与 Agent Harness最终状态与产物执行轨迹与资源用量Verifier 判分诊断失败与计算成本

Agent Harness 管理工具、上下文、工作区、重试和权限。评测框架负责启动环境、调度试验和汇总结果。Anthropic Agent Evals

B

三种实验回答三个问题

想知道什么 实验怎么做 结果怎么读
用户实际用哪套更好 各用原生模型和配置,在同一批任务上跑 比较完整产品组合
换 harness 是否有收益 固定模型版本、推理档位、初始环境和预算,对同题重复跑 A/B 估计该模型与任务集上的配置差异
哪个机制带来收益 同一 harness 内只改一个机制,如上下文压缩或工具失败恢复 估计该改动在当前配置下的边际收益

再用多个模型与多个任务类型交叉验证。比较每题的配对差值,按任务重采样估计置信区间。Harness-Bench · 模型与 Harness 交叉实验

C

结果、过程与成本分别打分

  • 结果。优先用单测、文件检查或数据库状态判定任务成功。开放式产出可以按 rubric 评分,并用人工抽样校准。
  • 过程。记录工具调用和返回、权限决策、重试、超时、上下文压缩和停止原因。用轨迹解释失败,也可直接验证审批等过程约束。
  • 稳定性与效率。报告单次成功率、P95 耗时、单次成本,以及总成本除以成功次数。例如每题独立跑 5 次。pass@k 衡量至少成功一次,pass^k 衡量每次都成功。

Anthropic Agent Evals · τ²-Bench 判分

D

公开评测怎么选

场景 公开实例 测量方式
CLI 与工程任务 Terminal-Bench 由 Harbor 启动任务环境,运行指定模型和 agent,检查任务结果
多轮客服与业务工具 τ²-Bench 按任务校验数据库状态、必要动作或关键信息
专门测 harness 差异 Harness-Bench 用 300 个沙箱任务测多种模型与 harness 配置,记录产物、轨迹和用量

Terminal-Bench 官方运行说明 · τ²-Bench 运行说明 · Harness-Bench

E

一个具体例子:测工具故障恢复

给两版 harness 同一批任务。为每题配好正常环境和故障环境,在后者对某个工具首次调用注入相同的超时。固定模型、工具能力与预算,每次从干净环境启动。比较最终成功率、恢复率、重复副作用和额外成本。

同时保留一批从未参与调参的任务。若新版增加重试,再加入同预算的简单重试基线。Harness Evolution 评测研究