DeepSeek同模型横评:贵1.8倍,差距不显著
同模型横评:DeepSeek Harness 得42.7分、每次$1.84,Claude Code 39.1分、$1.01,作者称差距在噪声内。附官方定价与企业算账三条。
2026-11-10 13:24:14 · 主编:刘立永第三方基准 Bug Hunt Bench 在 2026 年 10 月 17 至 20 日做过一次控制变量测试:固定同一个模型 DeepSeek V4.1 Flash 1017、同样两个代码库、105 个植入缺陷,只更换 Agent 运行框架。最大推理强度下,DeepSeek Harness 平均修好 42.7 个缺陷、每次运行花费 1.84 美元;Claude Code 为 39.1 个、1.01 美元。作者的结论是:3.6 分的差距落在运行间噪声内,而 Harness 的单次成本约为 1.8 倍。这是第三方独立基准的离峰价口径,不是官方披露的生产数据。
89 次干净运行换来一句「不显著」
测试把 105 个真实缺陷藏在两个生产代码库(分别 45 个与 60 个),由盲评裁判对照答案给每次改动打分,只统计植入缺陷;共覆盖 9 款框架、89 次计入统计的干净运行,另 5 次因模型越界到别处找答案而作废重跑。最大强度下 Harness 七次运行得分 39 至 47,Claude Code 为 34 至 46。
作者用精确置换检验给出判断:把这 14 个分数在两个标签间打乱,出现 3.6 分及以上差距的概率是 14%(p=0.14);自助法给出的 95% 区间为 −0.4 到 +7.3 分,七次一组不足以分出高下。方向倒是稳定,三档推理强度下 Harness 分别领先 0.4、2.8 和 3.6 分,但这是「一致的倾向」,不是已证实的优势。
成本差距来自读写量。Harness 每次运行发送约 255 万未缓存输入 Token、3.165 亿缓存输入 Token 与 85 万输出 Token,Claude Code 对应为 104 万、2.075 亿和 41 万;两者缓存命中率都超过 99%。同场的小型开源框架 Pi 拿到 42.2 分,每次只要 0.83 美元,是「每美元得分」的最优解。需要说明的是,该文标注最后更新于 11 月 5 日,测的是框架而非厂商自有模型;作者另测 Claude Code 配 Sonnet 5.5 得 51.3 分,但每次成本高达 154.03 美元,不属同一比较维度。
行业反响:争的是工作入口
中华网 11 月 10 日的报道给出一个判断:持续三年多的模型竞争,正从参数规模与榜单分数转向「驾驭层」,也就是让模型能操作文件、调用工具、长时间稳定执行的软件框架。DeepSeek 于 8 月 13 日随 V4-Pro 推出 Harness v0.1 开发者预览版,采用 MIT 许可证,底座是 Cordis 插件框架,标准、PTC、极简、创造四种运行模式共用同一插件体系,并可接入 Anthropic、OpenAI、Kimi、GLM 等其他厂商模型。理由很直接:用户每天打开的工作台,比单次模型调用更有黏性。
路线差异也在这里。Claude Code 与 Codex 是闭源成品、主要绑定自家模型;Harness 是 MIT 开源、模型无关的可改造底座。第三方指南与安全对比文档同时指出代价:README 明写「会有破坏兼容性的变更」,官方安全须知称项目尚未经过正式安全审计,闭源产品在稳定性与兜底上目前更占优。
同样要看清统计口径。官方 11 月 5 日首次公布的运营数据属团队自行披露、未经独立第三方审计,且只统计使用 DeepSeek 官方 API 的用户;不同日期分别采用七日平均值与单日值,不能直接相减当作净增,Token 消耗量也不能直接换算成收入。中财网 11 月 9 日转述彭博社报道时同样强调,这只是生态规模的阶段性证据。
中小企业该怎么算这笔账
• 以官方定价页为准,不引用网传估算。按 2026 年 11 月 6 日价格,deepseek-flash 离峰每百万 Token 的缓存命中输入为 0.003 美元、未命中输入 0.15 美元、输出 0.60 美元,峰值时段翻倍;v4-pro 峰值输出为 3.96 美元。命中与未命中相差 50 倍,Agent 成本的关键变量是缓存命中率,不是标称单价。网上流传的「日成本约 3000 万美元」是社交平台非官方估算,官方从未公布成本数据,不应作为决策依据。
• 给 API 设支出上限,并按任务复杂度分级选模型:检索、梳理用轻量模型,最终判断才用强推理模型。这与 ERP 项目里按单据金额和风险分配审核层级是同一套成本纪律。
• 算总拥有成本,而不是单轮单价:许可费、Token、人工复核、返工回滚都要计入。横评里最便宜的单轮未必最省钱,一次通过率、日志可审计性和权限可控性同样要计价;上线前先在隔离环境用自己的真实任务跑一条基线。
参考来源:
• Product Compass,《DeepSeek Harness vs Claude Code (and OpenCode, Codex): The Same Model, Measured》,最后更新 2026-11-05,https://www.productcompass.pm/p/deepseek-harness-vs-claude-code
• 中华网,《DeepSeek把战场搬到了「驾驭层」,大模型竞争的真正战场正在转移》,2026-11-10,https://news.china.com/socialgd/10000169/20261110/49856671_all.html
• ClaudeGPT Si Newsroom(引 DeepSeek 官方定价页),《DeepSeek Harness: what it is, what it costs and how to install it》,2026-11-06,https://claudegpt.si/news/deepseek-harness-what-it-is-cost
• 中财网,《六成用户自己造插件:DeepSeek的生态野心》(转述彭博社),2026-11-09,https://www.cfi.cn/p20261109000273.html