国思软件 - 被曝蒸馏DeepSeek还造假！欧版OpenAI塌方了

　　henry 发自凹非寺

　　量子位 | 公众号 QbitAI

　　离职掀桌！Mistral 被曝“蒸馏”DeepSeek。

　　网友在推特上爆料，一位 Mistral 离职女员工群发邮件，直指公司多项黑幕。

　　其中最劲爆的就是：Mistral 最新模型疑似直接蒸馏自 DeepSeek，却对外包装成 RL 成功案例，并刻意歪曲基准测试结果。

　　说到 Mistral，这家公司被誉为欧洲版 OpenAI，是全球开源明星玩家之一，模型性能一直备受好评。

　　也正因为声誉突出，这次爆料才显得格外震撼。

　　早在今年 6 月，就有博主通过“语言指纹”分析，发现 Mistral-small-3.2 和 DeepSeek-v3 很像。

　　有意思的是——今年 2 月，还有网友调侃DeepSeek 是“中国的 Mistral”。

　　结果半年过去，剧情反转：Mistral 不仅没跑赢 DeepSeek，还被曝“借”了人家的成果。

　　这波啊，这波叫回旋镖自带 GPS，绕半圈又精准扎回自己身上。

　　Mistral 蒸馏 DeepSeek 实锤

　　就像我们开头提到的，推特博主 Sam Peach 通过分析模型输出中过度使用的词汇模式（Slop），发现了 Mistral-small-3.2 与 DeepSeek-v3 之间令人惊讶的高度相似性。

　　这种相似性通常很难通过独立训练偶然出现，所以很可能就是蒸馏（distillation）的结果：

　　具体来说，Sam Peach 是这样做的。

　　他先统计了模型在创意写作（creativewriting）的输出中，比人类文本更常出现的词和n-gram（词组）。

　　然后他把这些大数据整合起来，形成一个特征集。

　　最后把这些高频特征进行层次聚类（hierarchicalclustering），生成了一张“相似性图”。

　　通过比较相似性图中模型的远近位置，就可以发现 Mistral-small-3.2 和 DeepSeek-v3 在图中非常接近，这就表明了它们的输出模式高度相似。

　　最新的爆料则进一步指明，Mistral 模型和 DeepSeek 相似不是巧合，而是可能使用了蒸馏。

　　由于爆料人 Susan Zhang 的推特设置可见范围，更多爆料信息暂时无从得知。

　　但这里需要说明，蒸馏并不是一件违规的事，现在很多模型都是通过这一方法快速提升能力。

　　Mistral 的问题在于，可能隐藏了这部分事实。

　　离职员工说，Mistral 这样做是在假装自家模型的强化学习有效，这不仅歪曲了基准测试结果，而且误导公众。

　　不少人也认同这一观点：蒸馏模型必须标注，保持透明性才是关键。

　　此外还有网友表示，蒸馏实际上为模型开发开辟了一条捷径，好让大家不用再重复造轮子。

　　官方暂无回应

　　这事儿颇具争议，除了事件本身，主要还在于 Mistral 在开源 AI 圈的地位不低。

　　它成立于 2023 年，base 法国巴黎，一直被称为欧洲版 OpenAI。由前 Google DeepMind 的 Arthur Mensch 和前 Meta 的 Guillaume Lample 与 Timothée Lacroix 联合创立。

　　在今年 8 月，Mistral 被曝估值达到 100 亿美元，且正在筹集新一轮 10 亿美元融资。

　　而在上一轮融资中（2024 年 6 月），Mistral 完成了一轮由 General Catalyst 领投的 6 亿欧元（6.45 亿美元）的融资，这使其估值上升至 58 亿欧元（62 亿美元），排名全球第四（美国湾区外排名第一）。

　　从公司成立以来，Mistral 一直保持开源路线，今年开源的模型就包括轻量级模型 Mistral Small 和主打编程的 Mistral Code 等。

　　相较于主流的大语言模型，主打开源、小快灵的 Mistral，在多语言处理和推理能力方面具备相当的竞争力，在大模型市场中占据着独特的地位。

　　同时他们也推出了自家聊天机器人 LeChat，对标 ChatGPT，内置深度研究模式、原生多语言推理和高级图像编辑等功能。

　　截至目前，Mistral 官方还没有回应，就在昨天他们还发布了新模型 Mistral Medium V3.1。

被曝蒸馏DeepSeek还造假！欧版OpenAI塌方了