DeepSeek Harness

DeepSeek 五项并列第一,2/36 掉第六

11月13日The New Stack报道Harness Leaderboard:固定模型只换框架,DeepSeek Harness五项统计并列第一,Terminal-Bench却36次仅过2次排第六。附口径风险。

2026-11-15 13:24:02 · Editor: 刘立永

2026 年 11 月 13 日 The New Stack 报道 Hugging Face 研究者 Joël Niklaus 的 Harness Leaderboard:固定模型、提供方与推理强度,只更换 harness。DeepSeek Harness 在五项评估中与榜首统计并列第一,却在 Terminal-Bench 2.1 掉到第六——三个要求 agent 退出后服务仍可访问的任务,它 36 次尝试只过 2 次,OpenCode、Pi 与 Hermes Agent 是 36/36。

一、榜单怎么搭的,口径先说清

Niklaus 于 11 月 5 日上线榜单,跑 28,849 次试验、初始 9 个 harness,推理费 4,746 美元;固定模型、提供方与推理强度,每题 3 次尝试,模型为 DeepSeek-V4.1-Flash、GLM-5.3-Flash 与 Flint,评测集是 Terminal-Bench 2.1 和 DeepSWE v1.1。DeepSeek Harness 于 11 月 9 日加入、11 月 11 日进入全部视图。「统计并列第一」是特定口径:与榜首配对差值的 95% bootstrap 区间覆盖零,不等于画面名次第一。跨三模型平均,它在 DeepSWE v1.1 排第 2、落后 Hermes Agent 0.5 分,在 Terminal-Bench 2.1 排第 6;GLM-5.3-Flash 高推理强度下第 5,但仍与榜首统计并列。榜单测试的是开发者预览版 0.2.2-rc.1,不是稳定版。

二、2/36 的根因是清理习惯,不是模型能力

三项 Terminal-Bench 任务要求 agent 启动一个服务(例如模型推理 API),评测器在 agent 退出后再去连这个服务。DeepSeek Harness 在任务结束时会关掉自己启动的后台程序,服务随之消失:36 次尝试只通过 2 次,OpenCode、Pi 与 Nous Research 的 Hermes Agent 均为 36/36。Niklaus 测算,这三项在每项评估里让 DSH 少 1.5 至 1.7 分,超过它在 DeepSeek-V4.1-Flash 高推理强度下与榜首的 1.3 分差距;榜单 changelog 确认该清理行为属于 DSH 本身,成绩未作调整。DeepSeek 官方工程文档把本地 job registry 定义为刻意短生命周期的组件,原话是「Choose it when jobs should live in the harness process and die with it」,需要跨重启或跨进程存活的作业应换后端。The New Stack 就此事联系 DeepSeek,截至发稿未获回应。以上均为第三方基准与作者归因,不是官方自评,也不是生产环境结论。

三、同模型不同框架,成本差约 11 倍

榜单开局数据本身说明框架的权重:平均每模型,mini-swe-agent 完成率 51.4%、OpenClaw 27.3%;Pi 以 49.4% 的完成率做到每次解决 0.29 美元,OpenCode 为 3.35 美元,相差约 11.7 倍,DSH 平均每次解决 0.53 美元。Hugging Face 联合创始人 Thomas Wolf 的概括是「同款开源模型,换 harness 结果差很多」。另有 arXiv 一项覆盖 66 组模型与框架配置的预印本研究指出,模型排名会随框架反转:Terminal-Bench 4 上 Claude 在 OpenHands 领先 GPT 7.94 分,在 PI 里反而落后 30.16 分。第三方对比页 11 月 14 日的数据可作侧证:DSH 近 7 天包下载 79.5 万次、GitHub 星标 28.1 万,Hermes Agent 分别为 7.68 万次与 26.3 万星,但 Hermes Agent 近 90 天发了 23 个稳定版,DSH 仍无稳定版。热度与迭代节奏是两回事,以上数字口径各异,不能相加比较。

四、必须打折的地方,以及三条建议

先把 caveat 摆齐:榜单有 20 个 DSH 的通过被判无效(例如抓取上游代码按失败计);DSH 测试时关闭了网页搜索,因为测试机没有所需的 DeepSeek 账号 key;Cline 是下一个待加入框架,排名还会变。第三方分析给出的两条绕行办法——用 systemd 或 nohup 加 setsid 把服务放到框架进程组外、在提示词里写明服务要保留——作者明确声明自己未实测,不能当成已验证方案。给中小企业三条建议:第一,选型时把「框架」和「模型」分开做验收,别只看模型榜单,这与我们给客户实施财务与 ERP 时把软件版本、数据库、运行环境分开验收是同一套做法;第二,凡业务流程依赖常驻服务(接口、定时任务、看板刷新),先用一个最小任务验证任务结束后的存活状态,再决定是否接入;第三,成本按「每完成一次有效任务」核算并留人工终审,测试与生产口径不同,0.53 美元这类数字只能作量级参考,不能直接做预算。

参考来源:
• Harness Leaderboard 官方 Hugging Face Space(Joël Niklaus),2026-11-05 上线 / 2026-11-15 核验:https://huggingface.co/spaces/joelniklaus/harness-leaderboard
• Harness Leaderboard 官方 CHANGELOG(11-09 加入 DSH、11-11 进入全部视图),2026-11-11:https://huggingface.co/spaces/joelniklaus/harness-leaderboard/blob/main/CHANGELOG.md
• The Tech Archive《DeepSeek Harness vs Hermes Agent: Tied First, One Flaw》,2026-11-13:https://aitecharchive.com/articles/deepseek-harness-dsh-open-source-coding-agent-leaderboard
• Gate.io 转述 The New Stack 报道,2026-11-13:https://www.gateex.cc/news/detail/deepseek-harness-drops-to-sixth-on-terminal-bench-over-process-cleanup-25613680
• Joël Niklaus 榜单公告(X 平台),2026-11:https://x.com/joelniklaus/status/2120540528886603949
• arXiv 66 组 model-harness 配置研究(预印本),2026:https://arxiv.org/abs/2610.00917
• agentgid《DeepSeek Harness vs Hermes Agent》对比页(下载量 / 星标 / 稳定版数),2026-11-14:https://agentgid.com/compare/deepseek-harness-vs-hermes-agent