鲨疯了！谷歌新版 Gemini 超越 o1，强势登顶竞技场总榜第一！
在经 6000+ 网友匿名投票后，不仅数学成绩和学霸 o1 相当，还拿下其它 5 个单项第一。
新模型名为Gemini（Exp 1114），成绩一公布，连 CEO 皮猜也亲自飞奔来站台。
而竞技场官方也在第一时间公布喜讯，并祝贺谷歌：恭喜达到这一非凡里程碑！
这下尴尬了！说好的谷歌正在遭遇瓶颈呢？没想到人家反手就是一个王炸。
怕了怕了，或许，只有 OpenAI 立即发布满血版 o1 才能与之一战了？
目前新模型可在谷歌AI Studio体验，官方后续也计划提供 API。
网友们也纷纷猜测，难道这就是传说中的Gemini 2——
拿下 7 项第一，数学也和 o1 不分伯仲
一夜之间，竞技场 Imsys 排名再被刷新：
从总榜来看，谷歌新模型 Gemini（Exp 1114）分数直涨 40+，挤下了之前一直霸榜的 OpenAI 模型（包括 o1-preview、GPT-4o）。
而且假如正面 1v1 遇敌，新 Gemini 貌似都有一半及以上概率取胜。
整体胜率热图显示，Gemini（Exp 1114）对战 4o-latest 胜率为 50%，对战 o1-preview 胜率为 56%，对战 Claude-3.5-Sonnet 胜率为 62%。
同时，Gemini（Exp 1114）在单项上也很能打，一举拿下 6 个第一，包括：
- 复杂提示（Hard Prompts）：模型处理复杂或困难提示的能力；
- 数学；
- 创意写作；
- 指令遵循：评估模型遵循给定指令的能力；
- 长查询处理（Longer Query）：衡量模型处理较长查询的能力；
- 多轮对话（Multi-Turn）：模型在多轮对话中保持上下文连贯性的能力；
要说最大看点，还是 Gemini（Exp 1114）竟能与 o1 模型在数学能力上不分伯仲。
要知道，据 OpenAI 官方说法，o1 不需要专门训练，就能直接拿下数学奥赛金牌，甚至可以在博士级别的科学问答环节上超越人类专家。
不过比较遗憾的是，对于写代码这项重磅功能，Gemini（Exp 1114）虽说相较于谷歌上一版本有所改进，但仍然未能挤进前三。（o1-mini/preview 仍处于领先地位）
另外，在风格控制下，Gemini-Exp-1114 也和前三无缘，甚至不及自家的 Gemini-1.5-pro。（排在 o1、4o-latest 和 Sonnet 之后）
解释一下，风格控制（Style Control）是竞技场今年新推出的功能，确保分数反映模型真正解决问题的能力，而不是用漂亮的格式、增加回答长度。
不过也有意外之喜，Gemini-Exp-1114 这一次在视觉能力上拿下第一，超越了 GPT-4o。
整体看下来，对于谷歌这次的反超，大家也感到十分意外。
目前，Gemini-Exp-1114 已经可以在谷歌AI Studio体验，且官方计划后续提供 API。
这不，有很多网友已经上手测试了，但好像争议蛮多——
网友反应不一
先总结一下，通过网友测试，目前可知 Gemini-Exp-1114 的以下信息：
- 拥有 32k 上下文窗口
- 模型回答知识截止日期为 2023 年 4 月，但回答结果会不一样
- 加上了思维链
其中，32k 上下文被大家狠狠吐槽。有人直言相比 200 万上下文窗口的 Gemini 1.5，搁这儿不升反降呢！
兴许是感受到大家的怨怼了，谷歌 AI Studio 负责人赶紧出来打圆场：马上更！马上更！
安抚好众人情绪后，大家终于乐颠颠晒起了使用反馈。
透过其中一位小哥的观察，Gemini-Exp-1114 这次也是用上了思维链，在回答时也能像人类一样一步步思考了。
而且，在数学能力上确实不错？
Gemini-Exp-1114 正确回答了 2024 美国数学奥林匹克预选赛 II 1-8 题。
甚至相对弱项的编码，也有人第一次尝试就成功了。
然而，翻车总是难免的。
有人问了基准测试中的物理问题，结果 Gemini-Exp-1114 虽然有思维链加持，却仍然回答错误。
甚至老生常谈的数字比大小和数草莓中的“r”，竟还是失败。
更搞笑的是，有人问 Gemini-Exp-1114“你叫什么？”
结果回答了claude（doge）。
实际上，大家一直在猜测 Gemini-Exp-1114 会不会是传说中谷歌计划更新的 Gemini 2。
但根据实测，相当一部分网友出来表示否定。
毕竟，它好像连旧版 1.5 Pro 会的问题也无法解决。
更有人声称，这是谷歌推迟发布更大模型（即 Gemini 2）的策略，先弄一个残血版让大家玩玩，这样就别急着催更了。
结合 CEO 皮猜顺势放烟雾弹的做法，好像又有点道理（doge）！
