马斯克:史上最强AI训练集群上线,将再增加10万颗GPU

  特斯拉 CEO 埃隆·马斯克。视觉中国资料图

  马斯克旗下宣称是目前最强大的人工智能计算集群上线,其规模还将很快翻倍。

  9 月 3 日,特斯拉 CEO 埃隆·马斯克在X平台上宣布,旗下人工智能初创企业x.AI 打造的超级人工智能训练集群已经正式上线,该集群名为“Colossus(巨人)”。

  他透露,团队花了 122 天来完成 Colossus 的上线过程。Colossus 还将在未来几个月内增加 10 万颗 GPU(图形处理器),其中,5 万颗将是更为先进的英伟达 H200,这意味着 Colossus 的算力将再次翻倍。

  在社交平台上,业内的反响非常热烈,称这是人工智能领域的巨大成就。

  风险投资公司方舟投资(ARK Invest)的 CEO 凯茜·伍德(Cathie Wood)也对该团队取得的成就表示祝贺,称其“令人印象深刻”,并透露 xAI 未来还会有重大进展要宣布。

  早在去年上半年,就不断有媒体爆料称马斯克正在为特斯拉采购大量 GPU。今年 5 月份,Colossus 首次被公开,并在 7 月份开始运行。

  5 月 25 日,马斯克在一场演讲中透露,xAI 计划打造一台超级计算机,名为“算力的超级工厂”,预计规模是市场上最强大竞争对手的四倍。该计算机将采用英伟达 H100 GPU。

  7 月 22 日,马斯克在X上宣布,xAI 团队、X团队、英伟达及其他支持公司已经于当地时间凌晨 4 时 20 分开始在“孟菲斯超级集群(Memphis Supercluster)”,也就是 Colossus 上进行训练。

  Colossus 由 10 万个液冷 H100 GPU 组成,在单个 RDMA 结构(即远程直接数据存储结构,可解决网络传输中服务器端数据处理的延迟)上运行,是“世界上最强大的人工智能训练集群”。

  马斯克还补充说,目标是在今年 12 月前训练出“按每项指标衡量都是世界上最强大的人工智能”。

  当然,xAI 的大模型 Grok 也将在自家的 Colossus 上进行训练。

  去年 7 月,xAI 宣布正式成立,并表示公司的宗旨是“了解宇宙的真实本质”。xAI 在官网表示,“我们是一家独立于 X Corp 的公司,但将与X、特斯拉和其他公司密切合作,以实现使命。”

  2023 年 11 月,xAI 发布第一款大模型 Grok-1;8 月 13 日,xAI 宣布 Grok-2 的测试版本正式上线,并首次引入图像生成功能;马斯克此前曾透露,Grok-3 将使用 Colossus 进行训练,预计将于年底发布,相信它会“非常特别”。

  今年 5 月份,xAI 宣布获得 60 亿美元B轮融资,主要投资者包括安德森·霍洛维茨基金(Andreessen Horowitz)、红杉资本(Sequoia Capital)等。xAI 的投前估值为 180 亿美元,本轮融资后的投后估值将达到 240 亿美元。

  不过,在引领人工智能革命的同时,马斯克长期以来也一直在强调人工智能的潜在安全风险,并积极推动人工智能安全法规落地。

  8 月 27 日,马斯克在X上发帖称,他认为加利福尼亚州应该通过参议院 SB 1047 号法案。此举在科技界引起了争议,许多人担心这可能会扼杀美国的人工智能创新。

  据悉,SB 1047 法案要求一些最大的人工智能模型(成本高于 1 亿美元)在开发时必须报告智能安全问题,并需要提交评估与模型相关的风险的报告。该法案已经遭到 xAI 竞争对手 OpenAI 公司的反对。