Claude Code

Claude Code 横评:203 任务最佳 49.3%

DepBench 203 个依赖升级任务,最佳配置仅 49.3%,Claude Code 34.5%。11月3日 GitHub 让 Dependabot 管 agent 技能,但只管版本更新、不管安全更新。

2026-11-11 17:50:37 · Editor: 刘立永

11 月 3 日,GitHub 官方 Changelog 宣布 Dependabot 版本更新支持 Agent Package Manager(APM):为 apm.yml 里声明的受支持 git 依赖开 PR,并在 apm.lock.yaml 存在时重新生成;原文划了边界——「This support covers version updates, not security updates」。同期可查的 DepBench 基准更冷:203 个真实依赖升级任务,十种模型与工具组合里最好的也只解出 100 个(49.3%)。两件事指向同一结论:编码 Agent 的瓶颈在配置与复核,不在换模型。

官方发布:提示词第一次被当成依赖管

据 GitHub Changelog 原文(11 月 3 日),开启方式是在 .github/dependabot.yml 加 apm 条目、指定 apm.yml 所在目录、选更新计划;github.com 所有套餐已 GA,GitHub Enterprise Server 3.24 用的是「will be available」,官方未给日期。APM 是微软开源的 agent 包管理器,一份 apm.yml 可把 skills、prompts、instructions、plugins、MCP 服务器分发到 Claude Code、Codex、Copilot、OpenCode 等 harness(清单据 Pondero 11 月 5 日报道与微软 APM 文档,属第三方转述)。

边界比能力更重要。据 The Terminal Space 11 月 8 日引 APM 安全页:锁文件存 SHA-256 content_hash 与 40 位 resolved_commit,扫描器能拦隐藏 Unicode,但明文提示词注入、同形字替换不检测,也不做恶意代码分析、不签包。Dependabot PR 只保证版本与哈希一致,不等于内容可信,上游 diff 必须有人读。

203 个依赖升级任务,最佳配置没过半

arXiv 预印本《Update from Hell》提出 DepBench:从 4,660 个候选 dependency-bot PR 筛出 203 个需源码级适配的真实升级任务,覆盖 npm/yarn 68、Maven/Java 65、Go 40、Cargo 20、Python 10,用四状态 oracle 确认升级引发失败、修复解决问题。Table I(GPT-5.5 口径):Claude Code 70/203(34.5%)、Codex 99/203(48.8%)、Copilot CLI 100/203(49.3%)、OpenCode 81/203(39.9%);换 Claude Opus 4.8,Claude Code 84/203(41.4%)。65 个任务没有任何配置通过。该 v2 页面未列提交与修订日期,时间口径无法核实。

同一模型换壳差 14.8 个百分点

固定 GPT-5.5,harness 间最好与最差相差 30 个任务、14.8 个百分点(bootstrap 95% 区间 8.3-21.0);Copilot CLI 对 Codex 的 McNemar 检验 p=1.0,一任务之差不足以证明优势。1,262 条失败轨迹里,「迁移不完整」460 条(36.5%)、「语义输出错误」397 条(31.5%)、「根因判断错」361 条(28.6%)——多数不是不会写,而是改了一部分文件、漏掉其余调用点。论文给的轻量技能 DepUpgrader 只做流程约束(查迁移文档、全仓搜旧符号、跑 build/test),就让 Copilot CLI 从 49.3% 到 56.7%(相对 +15.0%)、Codex 从 48.8% 到 51.7%(+6.1%)。

给企业技术团队的三条动作

第一,把 agent 配置纳入版本管理。apm.yml 加 apm.lock.yaml(或等效 settings 基线)进仓库,变更走 PR 并保留人工合并闸门;Dependabot 只管版本更新、不管安全更新,锁文件哈希只证明内容一致,不证明内容可信。

第二,共享环境配置保护与凭据轮换同步做。.claude/settings、MCP 服务器清单、凭据轮换记录纳入变更审计,共享构建机禁止自动合并 agent 包更新。另据 Web Pulse 11 月 3 日报道的 192 次运行实测(第三方口径),按 lockfile 固定版本读依赖命中率 100%,自行 clone 为 94.8%,快照目录仅 66.1%——锁版本是性价比最高的一步。

第三,用自有仓库定工具。先在 20 个真实任务上跑一轮,验收按「迁移清单 + 全量构建测试 + 人工 diff 复核」三段走,把复核闸门当交付标准,不把通过率当标准。

我们给山东的制造与商贸客户做用友、金蝶、管家婆等 ERP 实施时,升级窗口也是清单、复核、回滚三段:功能上线只是第一步,配置与数据口径对齐才算收尾。编码 Agent 的 skills 和 MCP 配置同理。

参考来源:
1. GitHub Changelog《Dependabot version updates support Agent Package Manager》(2026-11-03) https://github.blog/changelog/2026-11-03-dependabot-version-updates-support-agent-package-manager
2. arXiv《Update from Hell: Can Coding Agents Survive Hidden Breakage in Dependency Upgrades?》v2(203 任务与 Table I;页面未列提交日期) https://arxiv.org/html/2608.30300v2
3. Pondero《GitHub's Dependabot adds version updates for Microsoft's Agent Package Manager》(2026-11-05) https://pondero.ai/news/2026-11-05-dependabot-agent-package-manager
4. The Terminal Space《Dependabot Now Bumps APM Agent Manifests, Version Updates Only》(2026-11-08,APM 安全边界) https://theterminal.space/software/dependabot-apm-agent-manifests-version-updates-only
5. Web Pulse《Scaling cloud agents without losing track of their dependencies》(2026-11-03,192 次运行口径) https://wpnews.pro/news/scaling-cloud-agents-without-losing-track-of-their-dependencies