
新智元报道
花 430 倍的钱,只多 11% 的分数!
太夸张了。数据协作平台 Deepnote 今天发布了一项评测结果——创始人 Jakub Jurovych 搞了一个叫 Agent Initiative Benchmark 的东西,把 12 个前沿模型丢进同一家公司的 Slack 群里当 AI 同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。
跑完一看——OpenAI 包揽前二!
GPT-6 Astra 拿了 8.97 分,第一。GPT-6.1 Sol 拿了 8.65 分,第二,单个任务只花 0.11 美元。
排第三的 Anthropic Fable 5.2,8.17 分,单个任务 1.87 美元。
贵了 17 倍,分还低了。

折算成一个 70 人公司每月的 Slack 监控账单:Sol 是 281 美元,Fable 5.2 是 4684 美元。
同样的活儿,Fable 5.2 贵 16 倍。
而整张表上最离谱的一组对比是:Fable 5.1 每单 3.02 美元,GPT-6 Luna 每单 0.007 美元,价格差了 430 倍,得分只差 1.1 分。
你品品。

这个评测到底在测什么?
它不测模型有多聪明,它测模型当同事靠不靠谱。
Deepnote 造了一家叫 PageMantle 的虚构公司。
但这个「虚构」做得极其真实——6 年的运营历史,71 个员工,100 家企业客户,从 CRM、发票、工单、产品分析到数据仓库,11 套业务系统全部齐活。

连 SVB 倒闭、竞品发新功能这些现实世界事件都融进了公司时间线里,员工会在 Slack 里讨论应对策略,然后在 Linear 上开 issue 跟进。
AI 的角色是:潜伏在 Slack 里旁听所有对话,自己判断要不要出手。
出手的方式有三种:回复频道、回复线程、私信当事人。当然还有第四种——什么都不做。
而这第四种,恰恰是最难的部分。
50 个真实职场任务,涵盖找信息、解释流程、分析数据、核实声明、做判断、诊断问题、协调团队、审查安全等 8 种场景。
12 个模型各跑一遍,每次 3 分钟上限,两个盲评模型独立打 0 到 10 分,600 次完整运行,数据集和代码全部开源。
数据摊开:
第一,Sol 6.1 是这场考试的最大赢家。它和 Astra 的得分差距只有 0.32 分,95% 置信区间还有重叠——统计上可能根本分不出谁高谁低。但价格是 Astra 的六分之一。96% 的性能,六分之一的价格。
第二,Anthropic 全线偏贵。前 12 名里 Anthropic 占了 5 个席位(Fable 5.2、Opus 5.5、Fable 5.1、Sonnet 5.5、Haiku 5.5),但按性价比排,没有一个进前三。Fable 5.2 排第三看着不错,但单任务花费是 Sol 的 17 倍、月账单是 Sol 的 16.7 倍。唯一的安慰是速度:Sonnet 5.5 只要 15 秒、Opus 5.5 只要 29 秒,是全场最快的两个模型。

第三,Gemini 和 Grok 彻底翻车。这俩每个任务平均调 35 次工具,是 Sol 的两倍。但调得多不等于干得好——Gemini 在 50 个任务里有 27 个超时没交卷,Grok 有 18 个。考试时间到了答题卡还是空的,分数自然垫底。

最难的不是帮忙,是知道何时闭嘴
这个评测最狠的设计,是里面埋了 10 个「不该帮忙」的场景——事情已经解决了,或者根本不关 AI 的事。
结果很有意思:帮忙这件事,所有模型都挺积极的,需要出手的 40 个任务里 9 成都能搞定。
但该闭嘴的时候?表现最好的也只忍住了 8 次,大部分只忍住了 6 次。
GPT-6 Luna、DeepSeek V4.1 Flash、Mistral Large 4,10 次该沉默的场景里开口了 6 次。两个 Fable 也开口了 4 次。
关键是,这些「不该说的话」质量还挺高——它们会认认真真翻系统、查数据、写分析,然后一本正经地回了一条不需要回的消息。
就像公司里那个逢会必发言的同事,不是能力问题,是没搞清楚这事儿到底需不需要他。
而这种「热心过头」是要花钱的。 Deepnote 发现,同一个模型插错嘴时,平均比闭嘴多花 1.8 倍的时间和金钱。 模型不是随口瞎说,它是认认真真调了一圈工具之后才瞎说的。
这也解释了两种模型风格的分野——Deepnote 把它们分成了「狙击手」和「深度思考者」:
-
狙击手代表:Opus 5.5。平均 10 次工具调用,29 秒交卷,7.84 分。快准狠,不废话。而且在该沉默的 10 个场景里忍住了 8 次,和 Astra、Sol 并列最佳。
-
深度思考者代表:Sol 6.1。平均 18 次工具调用,54 秒交卷,8.65 分。多花了 80% 的时间,多调了 80% 的工具,但分数高了 10%,价格只有 Opus 的十分之一。


而 Gemini 和 Grok 属于第三种——迷路型。
35 次工具调用,但一半任务都没来得及给出答案。翻书翻到考试结束,卷子还是白的。
这件事为什么重要?
第一,选AI同事的标准变了。
传统 benchmark 比的是「谁最聪明」。但当 AI 的角色从「你问我答」变成「24 小时在线的主动型同事」,评判标准就变成了:
该帮忙时帮得上、不该帮忙时闭得住、花的钱经得住算账。这是判断力,不是智力。
OpenAI 的两个模型在这个三角上目前做得最好。Sol 尤其突出——它几乎复制了 Astra 的判断力(帮忙 39/40、沉默8/10),但价格打了一折。
第二,Always-on Agent 的账单逻辑完全不同。
以前调一次 API 花一次钱,用完即走。
但 24 小时在线的 AI 同事是按流量持续计费的。Sol 一个月 281 美元,Fable 5.2 一个月 4684 美元,Fable 5.1 一个月 7540 美元。
这还只是一家 70 人公司的 Slack。
如果你的公司有 500 人,如果 Agent 还要同时盯邮件、日历、工单……省出来的不是零花钱,是实实在在的人力预算。
第三,速度和质量的取舍出现了新路径。
Anthropic 最快(Sonnet 15 秒),OpenAI 最准(Astra 8.97 分),Sol 最划算(0.11 美元)。
对做产品的团队来说,答案可能不是「选一个」,而是「按场景路由」——实时对话用 Anthropic 的快模型抢时间,后台分析用 Sol 省钱拿分。
Deepnote 也在报告里建议了这种分层策略。
AI 同事最重要的能力不是有多聪明,而是有多靠谱:该说话时说得准,该闭嘴时忍得住,账单还别太离谱。
按这个标准,OpenAI 的 Sol 6.1 用 0.11 美元一单、8.65 分的成绩,目前是性价比天花板。
而那些贵了 17 倍、430 倍却没贵出多少分数的模型,是时候好好想想了:在 AI 同事的世界里,最贵的那位,未必是老板最想留下的那位。
参考资料:
https://x.com/jakubjurovych/status/2121256499552915586
https://deepnote.com/research/benchmark
编辑:所罗门
