出品 | 网易智能
作者 | 小爪
编辑 | 王凤枝
一个 Skill，不改模型权重，就能让 DeepSeek V4 Pro"秒杀"海外顶级模型 Claude Fable 5？
第三方 Skill 项目J-Space 的配套报告显示，V4-Pro-0813 接入这套 Skill 后，7 项智能体和编程评测全部超过 Fable 5 的参考成绩。
另一组开发者随后做了A/B测试，却没有看到任务完成度提升，接入J-Space 的一组反而花了更多 Token 和时间。
谁对？目前还不能下结论。两边使用的模型和任务不同，考的并不是同一张卷子。
但这场争议暴露了排行榜的一个漏洞：今天写在模型名下的成绩，越来越多是模型、Harness、上下文、工具和重试策略共同产生的。
排行榜仍在给模型排座次，真正参加比赛的却已经是一整套执行系统。
在智能体和编程任务中，只公布模型名和最终分数的大模型排行榜，正在失去解释力。
一、换套 Harness，同一个模型可能换个名次
先看J-Space 的"秒杀"是怎么得出来的。
项目报告显示，V4-Pro-0813 接入J-Space 后，Terminal Bench 2.1 从 87.9 分升至 90.1 分，Fable 5 的公开成绩为 88.0 分；DeepSWE 从 62.7 分升至 72.0 分，Fable 5 为 70.0 分；Toolathlon-Verified 从 74.1 分升至 79.5 分，Fable 5 为 77.9 分。
在报告列出的 7 项对比中，DeepSeek 的成绩全部更高。不过，这并不是一次在相同条件下进行的正面对比：DeepSeek 的分数由J-Space 项目方实测，Fable 5 的分数则取自厂商公开资料。双方使用的 Harness、资源预算和运行设置并不统一。
8 月 17 日，另一组开发者进行了不同的测试。他们没有使用 V4-Pro-0813，也没有重跑上述 7 项评测，而是换成 V4-Flash 和三类自建任务，对比接入J-Space 前后的表现。
第二轮共运行 12 次，两组完成任务的情况基本相同，接入J-Space 后却消耗了更多 Token 和时间。这只能说明J-Space 没有在这组测试条件下带来明显提升，不能据此推翻项目方的成绩。
要理解为什么这些数字不能直接对照，需要先区分 Benchmark 和 Harness。
如果把模型看成考生，Benchmark 是试卷，Harness 则是模型拿到试卷后使用的一整套答题系统。它决定模型能看到哪些上下文、调用什么工具、如何保存进度，以及出错后能否检查和重来。
Harness 以前很少出现在排行榜的醒目位置，但它对成绩的影响已经不能再被当作脚注。
5 月 7 日提交至 arXiv 的《Stop Comparing LLM Agents WithoutDisclosing the Harness》，把 3 个模型分别放进 3 套 Harness，在同一批 100 个编程任务上测试。模型、任务和运行限制保持不变，只更换 Harness，同一个模型的通过率最多相差 13 个百分点，模型排名还发生了 6 次反转。
另一项 Harness-Bench 研究则准备了 106 项沙箱任务，在统一环境和资源预算下测试不同的"模型＋Harness"组合，共记录 5194 条执行轨迹。研究者不仅看任务是否完成，还保存了工具调用、Token 消耗、错误和判分结果。
这些研究不能直接证明J-Space 有没有用，却说明了排行榜正在发生什么变化：当任务需要连续操作、调用工具和处理错误时，同一个模型换套 Harness，可能就会得到另一个分数，甚至换一个名次。
二、厂商开始把 Harness 写进成绩单
如果 Harness 只在研究论文里影响几分，它还可以被看作评测中的技术细节。但模型厂商已经开始主动把它写进成绩单。
7 月发布的 Kimi K3 技术报告，在多项智能体和编程成绩旁边标出了使用的 Harness，包括 Kimi Code、ClaudeCode 和 Codex。部分评测还进一步注明了运行次数、推理强度、上下文策略，以及测试过程中出现的拒答和降级。
这些成绩不是 Kimi K3 单独跑出来的，而是 Kimi K3 与不同 Harness 配合后的结果。有的 Harness 更擅长压缩上下文，有的允许模型调用更多工具，还有的会在失败后自动检查并重试。因此，最终分数很难只算在 Kimi K3 头上。
DeepSeek 则更进一步，开始自己建设 Harness。
官方发布的 DeepSeek Harness 把模型适配、上下文组织、工具调用、任务循环和运行记录放进同一套插件架构。它目前仍处于开发者预览阶段，官方明确提示后续可能出现不兼容改动，距离稳定的生产工具还有距离。
但它释放的信号已经很清楚：DeepSeek 不再只关心模型能生成什么答案，也开始介入模型如何理解任务、调用工具和完成工作。
这会改变模型厂商的竞争边界。过去厂商主要发布模型权重、API 和 Benchmark 成绩；现在，它们还需要决定模型进入哪套执行环境、能使用哪些工具，以及出错后如何继续。
8 月 22 日，Latent Space 刊文提出，工具调用、上下文压缩等原本依赖外层系统的能力，正有一部分被模型训练吸收。模型升级后，Harness 也会随之调整；排行榜记录的始终是某个时间点的一组具体组合。
当然，这并不意味着模型本身不再重要。在知识问答、数学选择题和短文本生成中，底模能力仍然可能决定大部分结果。但任务一旦延伸到修改文件、操作软件、调用外部工具和连续执行几十步，Harness 的影响就会迅速放大。
问题在于，今天许多排行榜仍然只把模型名放在最醒目的位置。
读者看到的是"Kimi K3 多少分""DeepSeek 超过了谁"，分数背后使用的 Harness、上下文策略、工具权限和重试预算却常常藏在技术报告的脚注里。排行榜看上去在比较模型，实际比较的已经是几套配置不同的系统。
模型排行榜仍然可以告诉我们谁进入了第一梯队，却越来越难单独解释：这个模型为什么赢，以及换一个使用环境后，它还能不能继续赢。
三、榜首组合，也未必是更好的选择
既然模型分数受 Harness 影响这么大，一个自然的想法是：干脆把"模型＋Harness"当作一个整体来排名。但这样也不够。
同样完成一个任务，有的组合一次就成功，有的却要多跑几轮、消耗更多 Token。分数相同，成本可能相差很大；分数更高，也可能只是因为它获得了更多时间和重试机会。
8 月 17 日那组 V4-Flash 自建任务A/B测试提供了一个成本例子，它并不是对前述 7 项评测的复跑。在竞赛推理和仓库开发任务中，接入J-Space 后，输入 Token 平均增加 28%，耗时增加 17%；在中断恢复任务中，输入 Token 约为对照组的 3.15 倍，耗时增加 36%。但在这些测试中，两组完成任务的情况并没有拉开差距。
这说明，如果排行榜只展示最终分数，读者看到的可能只是半张成绩单。
多花 Token 本身并不是问题。如果增加检查和重试能够减少失败，系统虽然单次调用更贵，完成一个任务的总成本反而可能更低。
因此，真正需要比较的不是谁用的 Token 最少，而是谁能以更少的时间、重试和人工接管，稳定完成一个任务。只公布成功率，不公布完成一次任务付出的总成本，仍然无法判断哪个组合更值得使用。
一个排名更高的模型，再配上一款功能更成熟的智能体，看上去像是把两个第一名放在一起。但模型与 Harness 之间存在适配关系：一套提示词、工具格式和上下文策略可能围绕某类模型长期调试，换上理论上更强的模型，实际表现未必继续提高。
用户面对的任务也不相同。修改代码仓库、整理公司资料、制作演示文稿和操作办公软件，需要的工具和容错方式并不一样。在一项编程评测中领先的组合，未必更适合处理日常文档。
对普通用户来说，排行榜主要用来缩小选择范围，不必自己设计一套 Benchmark。如果不知道怎么选，可以先做三件事：
优先使用智能体厂商已经适配并持续维护的模型组合，不要简单地把"最强模型"和"最热门智能体"拼在一起；
拿两三个自己最常做的任务多试几次，看它能否稳定完成，而不是偶尔成功一次；
除了结果，还要看完成一次花了多长时间、多少钱，中间需要自己纠正或接管多少次。
如果任务涉及重要文件、账号权限或对外操作，还要确认系统出错后能否停下来、能否看到执行记录，以及是否需要用户再次确认。
真正决定选择的，不再只是哪个模型排在第一，而是哪套组合能在自己的任务和预算内，更稳定地把工作做完。
四、下一张排行榜，应该怎么排
模型排行榜仍然有用：模型厂商需要用统一评测证明推理、知识和代码能力，用户也需要一张表快速了解市场位置。但在智能体任务中，榜单不能再只写模型名，还要同时写清使用的 Harness、任务类型和资源条件。
在知识问答和数学题里，排行榜仍然可以主要比较模型；到了需要浏览网页、修改文件、调用软件和连续执行的任务中，评测对象就应该换成完整系统。
未来的排行榜可能不再用一张总榜选出一个冠军，而是按任务分别排名：仓库级代码修改一张，文档处理一张，网页操作再排一张。每张榜同时列出成功率、完成一次任务的成本、耗时和人工接管次数。用户先找到与自己用途相近的任务，再比较不同组合，而不是只看总榜第一。
有的组合成功率更高，但价格昂贵；有的速度更快，却需要更多人工检查；有的适合编程，有的更擅长处理文档。分数最高的组合，不一定是每项任务中最合适的选择。
这也意味着，一家厂商即使没有在所有底模评测中排名第一，也可能通过更好的工具调用、上下文管理和错误恢复，做出更能完成实际工作的产品。反过来，一个模型即使拥有漂亮的 Benchmark 成绩，如果没有稳定的执行环境，也未必能把分数转化成用户能够感受到的生产力。
所以下一次再看到"国产模型超过 Claude"，更值得先问的或许不是它排到了第几，而是：在什么任务、什么配置和多少成本下，它真的做得更好？
