重磅!Meta推出开源大模型Llama 3:最大底牌4000亿参数,性能直逼GPT-4

图片

  腾讯科技讯,4 月 19 日消息,据国外媒体报道,美国科技巨头 Meta 推出了其最强大的开源人工智能(AI)模型 Llama 3,以追赶行业领导者 OpenAI。Meta 首席执行官扎克伯格表示,Llama 3 有 8B 和 70B 两个版本,大版本的 Llama 3 将有超过 4000 亿参数。由于预训练和指令微调,Llama 3 相比 Llama 2 有了极大的改进。

  此外,Meta 还同时发布了 AI 助手的更新版本。该助手将在 Meta 的 Facebook、Instagram、WhatsApp 和 Messenger 应用以及一个新设立的独立网站 Meta.ai 中获得更突出的地位,让 Llama 3 能够更直接地与微软支持的 OpenAI 的热门产品 ChatGPT 竞争。

图片

  Meta 在去年 7 月份发布了 Llama 2。此后,包括谷歌、马斯克旗下的 xAI 与 Mistral 等在内的数家公司发布了开源的大语言模型,竞争十分激烈。

  Llama 3 直接对标 OpenAI 的 GPT-4,后者已经成为一个强大的多模态模型,不仅能够处理更长的文本,还支持图像输入。Meta 此前已推出三个版本的 Llama 2,其中最大的一个拥有 700 亿个参数,另外两个版本分别拥有 130 亿和 70 亿个参数。

  在宣布这一消息之际,Meta 一直在努力向其数十亿用户推广生成式人工智能产品,包括对计算基础设施进行全面改造,以及整合此前截然不同的研究和产品团队,从而挑战 OpenAI 在该技术上的领先地位。

  开源的 Llama 是 Meta 人工智能战略的重要组成部分。这家社交媒体巨头希望利用人工智能来提高其广告工具的效率,并增强其社交媒体应用的吸引力。Meta 首席执行官马克·扎克伯格(Mark Zuckerberg)在本月初向投资人表示,今年的主要关注领域包括推出 Llama 3 和“扩大 Meta AI 助手的实用性”。

  追赶 GPT-4

  Meta 希望 Llama 3 能赶上 OpenAI 的 GPT-4。不过知情人士透露,因为研究人员尚未开始对 Llama 3 进行微调,所以尚未决定 Llama 3 是否将是多模态模型。微调是开发人员为现有模型提供额外数据的过程,以便它可以学习新信息或任务。较大的模型通常会提供更高质量的答复,而较小的模型往往会更快的提供答复。有消息称,正式版的 Llama 3 将会在今年 7 月正式推出。

  Meta 首席产品官克里斯·考克斯(Chris Cox)在接受采访时表示,该公司为 Llama 3 植入了全新的计算机编码功能,如今它不仅可以输出文本,还可以输出图像。他补充说,更高级的推理,如制定更长的多步计划的能力,将在后续版本中推出。Meta 在官方博客中表示,计划在未来几个月发布的正式版也将具有“多模态”能力,这意味着它可以生成文本和图像。

  考克斯说:“最终的目标是帮助用户摆脱烦心事。无论是与企业互动,无论是写东西,还是计划旅行,让他们的生活更轻松。”他还表示,将图像纳入 Llama 3 的训练将增强今年推出的新一代雷朋 Meta 智能眼镜的功能,让 Meta AI 能够识别使用者看到的物体并回答有关它们的问题。

  Meta 还宣布与 Alphabet 的谷歌建立新的合作伙伴关系,在助手的答复中包括实时搜索结果,作为与微软必应现有合作的补充。随着此次更新,Meta AI 助手正在扩展到美国以外的十多个市场,包括澳大利亚、加拿大、新加坡、尼日利亚和巴基斯坦。考克斯说,Meta“仍在努力以正确的方式在欧洲做到这一点”。欧洲的隐私规定更加严格,即将出台的人工智能法案也准备提出披露模型训练数据等要求。

  生成式人工智能模型对数据的巨大需求已开始限制该技术的发展。作为追赶努力的一部分,Meta 一直在发布像 Llama 3 这样的模型供开发人员免费商业使用,因为强大的免费模型的成功可能会阻碍竞争对手从其专有技术中赚取收入的计划。

  扎克伯格周四在发布会上称 Meta AI 是“你可以自由使用的最智能的人工智能助手”。他表示,最大版本的 Llama 3 目前正在用 4000 亿个参数进行训练,在 MMLU (大规模多任务语言理解)测试中得分为 85 分。他表示,推出的两个较小版本现在分别有 80 亿个参数和 700 亿个参数,后者 MMLU 的得分为 82 分。(编译/无忌)

图片