Generated by Answer me with HTML 0.5.10 · 2026-11-16 20:20 · ★ Star on GitHub
Agent Harness 怎么评测
Lead: 端到端跑分衡量模型与 harness 的组合。要估计 harness 的贡献,要固定模型做配对实验。要定位具体机制的贡献,再做组件消融。
一次评测怎么跑
Agent Harness 管理工具、上下文、工作区、重试和权限。评测框架负责启动环境、调度试验和汇总结果。Anthropic Agent Evals
三种实验回答三个问题
| 想知道什么 | 实验怎么做 | 结果怎么读 |
|---|---|---|
| 用户实际用哪套更好 | 各用原生模型和配置,在同一批任务上跑 | 比较完整产品组合 |
| 换 harness 是否有收益 | 固定模型版本、推理档位、初始环境和预算,对同题重复跑 A/B | 估计该模型与任务集上的配置差异 |
| 哪个机制带来收益 | 同一 harness 内只改一个机制,如上下文压缩或工具失败恢复 | 估计该改动在当前配置下的边际收益 |
再用多个模型与多个任务类型交叉验证。比较每题的配对差值,按任务重采样估计置信区间。Harness-Bench · 模型与 Harness 交叉实验
结果、过程与成本分别打分
- 结果。优先用单测、文件检查或数据库状态判定任务成功。开放式产出可以按 rubric 评分,并用人工抽样校准。
- 过程。记录工具调用和返回、权限决策、重试、超时、上下文压缩和停止原因。用轨迹解释失败,也可直接验证审批等过程约束。
- 稳定性与效率。报告单次成功率、P95 耗时、单次成本,以及总成本除以成功次数。例如每题独立跑 5 次。pass@k 衡量至少成功一次,pass^k 衡量每次都成功。
公开评测怎么选
| 场景 | 公开实例 | 测量方式 |
|---|---|---|
| CLI 与工程任务 | Terminal-Bench | 由 Harbor 启动任务环境,运行指定模型和 agent,检查任务结果 |
| 多轮客服与业务工具 | τ²-Bench | 按任务校验数据库状态、必要动作或关键信息 |
| 专门测 harness 差异 | Harness-Bench | 用 300 个沙箱任务测多种模型与 harness 配置,记录产物、轨迹和用量 |
一个具体例子:测工具故障恢复
给两版 harness 同一批任务。为每题配好正常环境和故障环境,在后者对某个工具首次调用注入相同的超时。固定模型、工具能力与预算,每次从干净环境启动。比较最终成功率、恢复率、重复副作用和额外成本。
同时保留一批从未参与调参的任务。若新版增加重试,再加入同预算的简单重试基线。Harness Evolution 评测研究