新智元报道
来源：飞哥说 AI
作者：高佳； 创意： 李志飞
编辑：好困
2023 年从一场巨头之间的巨额合作开始，一场汹涌已久的 AI 暗战摆上了台面。
随着微软和 OpenAI 融资的推进，双方在关系变得更加深厚复杂的同时，也在与谷歌等竞争对手的较量中鏖战上风。
一面是 Google 连夜唤回创始人，急推「高仿」Bard；一面是 OpenAI 的 ChatGPT 风头正劲，全民翘首以待 GPT-4 的到来。
一直在 AI 领域堪称老大哥的 Google，在这场棋局中一酸再酸，毕竟一度在 LLM 领先的 Google 曾经看似更有赢战「先机」。
从 2017 年举世发布 Transformer，奠定 LLM 的基石，到 2021 年 5 月的I/O大会上，LaMDA 惊艳众人的亮相，Google 风光无限。
直到 Bard 官宣前，「被动」一直被视为 Google 面对 ChatGPT 的处境。
Google 如何一步步「输掉」这盘布局多年的 AI 大棋，OpenAI 又何以让 Google 棋输先著？
首先，让我们回顾一下蕴含在这场旷日持久的 AI 暗战之下的关键技术时间线。
01 Google 与 OpenAI，LLM 领域的发展时间线
从对 ChatGPT 技术路线的拆解追溯，及其论文中提供的技术点和示意图看，ChatGPT 与 InstructGPT 核心思想一致。
其关键能力来自几个方面：强大的基座模型能力(InstructGPT)，高质量的真实数据，以及从用户标注中反馈学习(RLHF)等，以此一窥 ChatGPT 是如何一步步进化成目前的强大形态。
2017 年，DeepMind 最早提出了 RLHF 概念，这一后来解锁 ChatGPT 重要「涌现」能力的关键，它通过人工标注作为反馈，提升了强化学习在模拟机器人以及游戏上的表现效果。
同年 6 月，Google 发布 NLP 领域的里程碑——Transformer，成为后来所有 LLM 的基础架构，也为 GPT 铺就了前提。
2018 年 6 月，在 Transformer 问世不到一年的时间，OpenAI 发布了只有解码器（decoder-only）的 GPT 生成式预训练模型，通过大数据集进行训练，并主张通过大规模、无监督预训练+有监督微调进行模型构建。
2018 年 10 月，Google 重磅推出著名的具有划时代意义的 BERT，一个比 GPT 大四倍，拥有 3.4 亿参数的大模型，几乎在所有表现上碾压了 GPT。而自带光环的 BERT 只有编码器，用一种「完形填空」的方法，其训练效果超过人类表现，宣告 NLP 范式的改变。
2019 年 2 月，被碾压的 OpenAI 准备背水一战，此时一个重要的命题摆在面前，BERT 的大火让是否坚持做生成式模型成为一种灵魂拷问，但 OpenAI 坚定自己的目标——AGI，孤勇直前地践行生成式，并加倍投入，提出有 15 亿参数的 GPT-2，并没有特别新颖的架构，它只是基于 Transformer 的解码器，稍做修改。尽管最初 OpenAI 并不愿意发布它，因担心它可能被用来向社交网络发送假新闻。
2019 年 10 月，Google 发布了统一的模型框架——T5，基于编码解码器的 T5（BERT 只有编码，GPT 只用解码），最大模型 110 亿参数并开放。兼容了 BERT 和 GPT 下游任务的 T5，再次让 Google 风光无两。
2020 年 5 月，卧薪尝胆的 OpenAI，在生成式之路一往无前，发布了规模是 GPT-2 两个数量级的 1750 亿参数的 GPT-3，在业内掀起 AGI 热浪，也拉响了巨头规模竞赛的号角。
2021 年 10 月，Google 推出 FLAN（1370 亿参数），并从此开始重新转向只有解码器的模型，还提出了 ChatGPT 用到的 Instruction Tuning 概念。
2022 年 1 月，Google 再推 LaMDA（1370 亿参数），展示了接近人类水平的对话质量以及在安全性和事实基础方面的显著改进，并称其可能具有「意识」。所有人在当时觉得 Google 已在 LLM 遥遥领先。
2022 年 3 月，OpenAI 发表经过「魔鬼调教」的 InstructGPT（1750 亿参数），提到采用 Instruction Finetune 和 RLHF，比 GPT-3 更擅长与人类「沟通」，但并未引起大规模的关注。
2022 年 4 月，Google 发布基于「通用 AI 架构」的语言模型 PaLM（5400 亿参数），文中提到了那一神奇的「激发」ChatGPT 逻辑能力的「思维链」。
2022 年 9 月，DeepMind 发表 Sparrow（700 亿），加入 RLHF 和 Retrival，但反应平平。
2022 年 12 月，OpenAI 的 ChatGPT 席卷而来，是 InstructGPT 的兄弟模型，一经问世迅速引爆全球，堪称人类对 AGI 里程碑的一步。
2023 年 2 月，Google 发布基于 LaMDA 的 Bard，正式对决 ChatGPT。
02 功败垂成，Google 错失的那些时间点
此时，回头凝望被动应战的 Google，来反思 Google 此前是怎样一步步错失了时间和先机。
错失 20 个月的解码器押注
如果只用解码器的生成式是 LLM 的王道，2019 年 10 月，Google 同时押注编码解码器的 T5，整整错失 20 个月，直到 2021 年 10 月发布 FLAN 才开始重新转变为 decoder-only。
举棋不定的稠密和稀疏之争
如果稠密大模型是王道，Google 押注了 Mixture of Experts 的稀疏多模态结构，全力投入 Pathways 下一代 AI 架构，而 DeepMind 又加入 LLM 的竞争太晚。直到 2020 年 GPT-3 横空出世的 18 个月后，DeepMind 才训练出比 GPT-3 更大的模型，酝酿许久的 Google 在 2022 年 4 月才发布 3 倍于 GPT-3 的 PaLM。
迟到 24 个月的 RLHF 应用
而在 RLHF 上，最早的概念提出者 DeepMind 及 Google，起了个大早却迟到了 24 个月。早在 2017 年 6 月，DeepMind 率先提出 RLHF，2020 年 9 月 OpenAI 将其用于 GPT-3 上，DeepMind 直到 2022 年 9 月才用于 Sparrow，而「运筹帷幄」的 Google 到现在还未见 RLHF 在 LLM 上的论文，更未见将研究成果应用于任何「产品」。
尽管拥有 AI 技术和能力，Google 的「保守迟疑」和兵力分散，让其在 OpenAI 的势如破竹面前，功败垂成。
一招迟缓，全线溃败。高手对弈，还需兵贵神速。
03 OpenAI 时速下的远见和信念
反观 OpenAI 的速度和选择，似乎一切都是势之必然。
蕴含着远见和信念的 OpenAI 更具果敢和魄力。在巨大的不确定未来和竞争对手的压力面前，OpenAI 始终坚定最初的目标和信仰，迈出充满信仰力量的一步步。
从 2018 年开始，四年如一日，只用 decoder only 的 GPT，践行着「暴力美学」——以大模型的路径，实现 AGI。
图灵奖得主 LeCun 也说 OpenAI 的 ChatGPT「不是什么革命性的东西，只是组合得很好」。而正是如此简单朴素的坚持，见证了 OpenAI 的眼光和执着。
从技术路径来看，OpenAI 是实用至上的「拿来主义」。
没有知识分子的清高，没有孤勇黑马的桀骜，无论是 Transformer、Instruction Tuning、还是 RLHF 和「思维链」，不因是别人发明的就避之不用，而是取其精华，默默在自己的大模型里埋首用功。
如果 Instruction Tuning 是关键，那 Google 和 DeepMind 在 2021 年 10 月发明了它以后，直到 2022 年 12 月都没有重视过。反观 OpenAI 只花了 5 个月就将其用到 InstructGPT，坚实了 ChatGPT 的基础。 如果将「思维链」视为 ChatGPT 能解题的关键，当 Google 还将它用于象牙塔的「实验」时，ChatGPT 已准备走向「产品化」。
组织文化和产品路径上，OpenAI 坚持「产品驱动」的 AI 研究，也始终坚持第一时间把「玩具」公示于众，敢于直面群嘲，敢于在“众目睽睽”之下迭代。反观学术驱动的 MSR 和项目驱动的 DeepMind，从「功利主义」的结果来看，相比 OpenAI 的躬身入局沙场点兵，Google 更像坐而论道纸上谈兵。
PR 层面，OpenAI 并没有过多大公司「声誉风险」的羁绊和考虑，反而利用大众和媒体充满褒赞和争议的声音，热浪不息，全球风靡。
犀利如箭的棋局背后是灵魂棋手的智慧，这也是 OpenAI 一切远见和信仰的真正来源。
2015 年，几位满怀对 AI 革新信仰又才华横溢的年轻人，从成立一个「工程型的 AI 实验室」出发，到今天 OpenAI 成为变革 AI 的引领者。如果说 ChatGPT 讲述了一个「足够好的预测带来了你所梦想的一切」的故事，那么其灵魂人物的前瞻眼光和今天的 OpenAI 也完美注解了这一句。
历史的潮流奔涌向前，硅谷的创新土壤、互相竞逐的技术迭进、巨头的巨额注资，有万千人「守护」梦想的 OpenAI 走到历史的必然。
任何大卫击败歌利亚的故事，都值得我们思考。
OpenAI 此局高踞上风，与微软的联姻也将让两者更强。如今棋布错峙的谷歌，无法再「按兵不动」了。紧急应战的 Bard 能否让 Google 重归尊位？
AIGC 时代，几位科技巨头们之间的「棋局」激战正酣，一切还远未到握手言和的时刻。
群雄逐鹿，一切才刚刚开始。
