6 月 28 日消息,Hugging Face 联合创始人兼首席执行 Clem Delangue 于 6 月 26 日在 X 平台发布推文,表示阿里云开源的通义千问(Qwen)指令微调模型 Qwen2-72B 在开源模型排行榜上荣登榜首。
Hugging Face 公布了全新的开源大语言模型排行榜,通过 300 片英伟达 H100 GPU,重新运行 MMLU-pro 等标准评估目前主流的大语言模型,并在其要点介绍中称 Qwen2-72B 为“王者”,并表示中国的诸多开源模型在榜单上有一席之位。
他表示,为了提供全新的开源大模型排行榜,使用了 300 块 H100 对目前全球 100 多个主流开源大模型,例如,Qwen2、Llama-3、mixtral、Phi-3 等,在 BBH、MUSR、MMLU-PRO、GPQA 等基准测试集上进行了全新评估。
阿里巴巴开源的 Qwen-2 72B 模型在激烈竞争中脱颖而出,不仅超越了科技巨头 Meta 的 Llama-3,还超越了法国知名大模型平台 Mistralai 的 Mixtral,成为了新的行业领军者。IT 之家援引官方博文附上榜单排行如下:
排名 | 新的榜单排名 |
---|---|
⭐ | Qwen/Qwen2-72B-Instruct |
2 | meta-llama/Meta-Llama-3-70B-Instruct |
3 | microsoft/Phi-3-medium-4k-instruct |
4 | 01-ai/Yi-1.5-34B-Chat |
5 | CohereForAI/c4ai-command-r-plus |
6 | abacusai/Smaug-72B-v0.1 |
7 | Qwen/Qwen1.5-110B |
8 | Qwen/Qwen1.5-110B-Chat |
9 | microsoft/Phi-3-small-128k-instruct |
10 | 01-ai/Yi-1.5-9B-Chat |