DeepSeek Harness

DeepSeek 八框架横评:240 次仅 129 次成功

Composio 用同一 DeepSeek V4 Flash 跑 8 种 Harness,240 次仅 129 次成功;Claude Code 缓存命中 1.5%、每成功任务 0.195 美元。附口径风险。

2026-11-13 13:26:27 · 主编:刘立永

Composio 用同一 DeepSeek V4 Flash 跑 8 种 Harness:240 次运行仅 129 次成功(53.8%),30 个跨 SaaS 任务只有 6 个被全部框架通过。同一模型,框架不同,兑现率差 20 个百分点。

240 次运行的成绩单

测试把变量尽量收窄:30 个高难度工作流、8 种 Harness、同一模型、同一套 Composio 托管 MCP 工具,每任务上限 900 秒,涉及 Airtable、Gmail、Google Calendar、Google Sheets、GitHub、Slack 与 PostHog。判定不用另一个模型打分,而是由程序化验证器检查应用真实状态,全部检查项通过才算成功。一项检查不过即判失败,哪怕其余 11 项全过。

结果(依次为通过率、中位耗时、每成功任务成本):Pi Agent 66.7%(20/30)、132.2 秒、0.028 美元;Prime Agent 62.5%(15/24 有效)、242.1 秒、0.131 美元;OMP 56.7%(17/30)、272.4 秒、0.103 美元;Claude Code 53.3%(16/30)、122.7 秒、0.195 美元;Codex 53.3%(16/30)、245.0 秒、0.081 美元;DeepAgents 53.3%、187.1 秒、0.045 美元;Hermes 50.0%、175.5 秒、0.056 美元起;OpenCode 46.7%(14/30)、129.7 秒、0.073 美元。

没有一种框架在所有指标上最优:OMP 可比通过率最高,Claude Code 最快,DeepAgents 单位成功成本最低。平均运行 token 也不解释耗时——Claude Code 与 OMP 都约 74.2 万,前者用时不到后者一半;Hermes 只用约 19.2 万,却更慢。

成本差异主要来自缓存命中

Claude Code 30 个任务共花 3.12 美元、通过 16 个,折算每次成功 0.195 美元,全场最高。原文给出的原因不是它更费 token,而是只有 1.5% 的输入 token 命中缓存,Codex 约 70%、OMP 约 57%;新鲜输入单价是缓存命中的 5 倍。Claude Code 与 DeepAgents 通过率同为 53.3%,每次成功成本却相差 4 倍以上。

把 Claude Code、Codex 与 DeepSeek 模型放进同一张表,本身说明 Harness 与模型已经解耦:闭源成品在速度与开箱体验上占优,但缓存策略不透明,单位成功成本反而最高;MIT 许可、只有 4 个工具的 Pi 在通过率与成本上同时领先。这不是开源赢了闭源,而是工程层的选择直接改变经济账。

近两周国内讨论也在往工程层收

腾讯新闻 11 月 12 日报道,崔添翼在知乎说 Harness 还没有内置跨会话长程记忆,「可能快有了」;业界对长程记忆没有共识,内部版本只在公司内较小规模的受信环境跑通,计算与状态、运行环境解耦落到 Harness 里还有不少工程工作。他也不认为团队提出了全新理论。

同日关于 rc.2 的解读给出另一组数字:官方中文更新共 76 条,新增 3、体验优化 27、问题修复 26、其他变更 20,其中 12 条明确要求插件迁移、同步或重新配置;PTC 按运行时限限制工具调用总量,超限终止代码但已完成操作不撤销;网页搜索默认改用 DeepSeek Search API,搜索与获取可分别选计费账号。另有上手实测称 10 个并行搜索 5.2 秒、串行约 34 秒,并指出预发布版不宜上生产。

两边指向同一件事:落地成本的主要变量在重试、缓存、并发与验收。

口径与风险,必须单独说

Composio 报告发布于 2026 年 8 月 11 日,是第三方基准,不是 DeepSeek 官方披露,也不是生产环境实测;本文引用其公开可核实的原始数据,近两周国内技术社区仍在据此讨论成本结构。文中成本是按记录的 token 用量与供应商价格估算的 API 成本,不是账单。

四处不能外推:Pi 用了 high reasoning 而非 max,30 次里 24 次走官方 DeepSeek API、其余走 OpenRouter,其他 7 种走 OpenRouter 加 max reasoning,因此「0.028 对 0.195」不能读成效率差 7 倍;Prime Agent 有 6 次运行无法评分,只按 24 次有效计;Hermes 两次超时未保存用量,实际成本高于表内数字;各框架统计运行 token 的口径不同,只能近似比较。国内报道的 5.2 秒对 34 秒是演示环境实测,不是官方压测。

给中小企业的三条建议
• 别只按模型榜单选型。挑 20 到 30 个结果可核对的高频任务,用自己的真实数据跑一遍,按「成功一次花多少钱」算账,而不是「跑一次花多少钱」。这与给客户做 ERP 选型时先跑一遍真实单据是同一个道理。
• 盯缓存命中率与重试次数。同一模型下命中率从 1.5% 到 70% 就能带来数倍成本差;把系统提示词与工具说明固定下来、减少无谓重跑,往往比换模型见效更快。
• 试点期保留人工验收与回滚。原型只在小规模受信环境跑通、预发布版明确不建议上生产;把 Agent 接进财务或库存链路前,限定只读、设用量上限、留操作日志,异常能追到具体一次调用。

参考来源:
• Composio《Finding the Best Harness for DeepSeek V4 Flash》,2026-08-11:https://composio.dev/content/best-agent-harness-deepseek-v4-flash
• 腾讯新闻《DeepSeek Harness 上线多 Agent 组队,崔添翼:跨会话长程记忆可能快有了》,2026-11-12:https://news.qq.com/rain/a/20261112A0BNSL00
• 今日头条《DeepSeek-Harness 新版 V0.2.2.rc.2:AI 子代理有名字、有看板》,2026-11-13 查阅:https://www.toutiao.com/a7707095733031207462
• 控场 AI《DeepSeek Harness rc.2 Hands-On》,2026-11-13 查阅:https://kongchang.com/en/articles/deepseek-harness-rc-2-hands-on-multi-agent-collaboration-and-parallel-search