昨天，英伟达开源了一款名为 Llama-3.1-Nemotron-Ultra-253B-v1 的新模型。该模型基于 Meta 早期的 Llama-3.1-405B-Instruct 模型开发，拥有 2530 亿个参数，在多项第三方基准测试中表现出色：
- 值得关注的是，英伟达新模型的性能逼近拥有 6710 亿参数的 DeepSeek R1，但只用了不到一半的参数量。
- 测试结果显示，GPQA（76 vs. 71.5）、IFEval 指令遵循（89.5 vs. 88.8）和 LiveCodeBench 编码任务（66.3 vs. 65.9）。并且，Llama-3.1-Nemotron-Ultra-253B 推理吞吐量也比 DeepSeek R1 671B 高 4 倍。
- 但在 MATH500 和 Arena Hard 基准测试中，DeepSeek R1 仍略占优势。
据悉，Llama-3.1-Nemotron-Ultra-253B 的设计目标是支持高级推理、指令遵循以及 AI 助手工作流程。技术特点如下：
- 采用神经架构搜索(NAS)优化架构
- 引入跳跃注意力层、融合前馈网络(FFN)和可变 FFN 压缩率
- 降低内存占用和计算需求，保持输出质量
- 可在单个 8x H100 GPU 节点高效部署
- 部署支持 B100 和 Hopper 微架构硬件
- 在 BF16 和 FP8 精度模式下均验证通过
目前，该模型的代码已在 Hugging Face 平台上公开，包含开放的权重和训练后数据。
官方介绍，Llama-3.1-Nemotron-Ultra-253B 可用于聊天机器人开发、AI Agent 工作流、检索增强生成（RAG）和代码生成等场景。根据英伟达开放模型许可证及 Llama 3.1 社区许可协议，该模型已获准用于商业用途。
附上体验地址：
https://build.nvidia.com/nvidia/llama-3_1-nemotron-ultra-253b-v1?ncid=so-twit-273200
