大模型111人:谷歌和OpenAI的人才战争

  衡宇发自凹非寺

  量子位公众号 QbitAI

  当我们围观 ChatGPT 炸开的多场激战时,还有什么是暗流下激战的?

  今天要关注的,不是违背“非盈利”初心的 OpenAI,也不是商业模式面临颠覆的谷歌搜索。把目光从公司层面挪开,看向另一场已经白热化的战争——

  借着的 ChatGPT 燎原之势,2 月中旬同一天的 30 分钟内,就有 2 位谷歌大脑大模型人才先后官宣入职 OpenAI,其中之一 Jason Wei 是思维链(chain-of-thought,CoT)的最早一作。

  大模型交锋背后,谷歌和 OpenAI 的人才战争打得正酣。和动辄上亿美元的投融资同样重要,AI 人才也是兵家必争的财富。

  但其实,AI 人才流动、被抢夺,早开始在 ChatGPT 搅动漩涡之前。

  GPT 系列:8 人联创新公司,成谷歌对战 ChatGPT 一步棋

  势如破竹的 ChatGPT,积攒了 OpenAI 从 GPT 一路迭代至 InstructGPT 的技术经验与实力。

  ChatGPT 基于 OpenAI 的 GPT-3.5 创造。2018 年和 2019 年,OpenAI 分别推出了 1.17 亿参数的 GPT-1 和 15 亿参数的 GPT-2;2020 年,大力出奇迹的 GPT-3 问世,训练参数达到 1750 亿,涌现出一些人脑独特的能力,引起轰动;而后又在 2022 年初推出全新的 InstructGPT 模型,只要 13 亿参数,效果就比 GPT-3 更好。

  《纽约时报》披露,原本下一代 GPT-4 在 OpenAI 内部几乎准备就绪,只待发布;去年 11 月中旬,高层突然宣布新任务:两周后发布免费聊天机器人应用,代号“Chat with GPT3.5”,这就是今天见到的 ChatGPT。

  51 位作者,其中 2 人参与 3 次论文创作

  GPT 系列共发表了 4 篇论文,51 位作者参与其中。

  作者名单中出现最频繁的是 Alec Radford 和 Ilya Sutskever 两位,均参与 GPT-1 到 3 的论文创作。前者是 OpenAI 的 ML 研究员,也是 indico.io 的联创,谷歌学术上他被引用最多的研究是 DC-GAN;后者更为人所熟知,OpenAI 联创之一,也是 OpenAI 首席科学家,主导了 GPT 系列以及 DALLE 系列模型的研发。

  另有 5 人在 GPT 系列论文中2 次贡献了自己的力量:

  51 人组成的人才图鉴,学历一栏中名校印记俯拾皆是。据不完全统计,出现频次最多的是 MIT 和斯坦福大学,曾在耶鲁大学、UC 伯克利、哈佛大学、牛津大学攻读学位的人也不在少数。也不乏在这些名校中辗转求学的人,譬如表格中提到的 OpenAI 前研究副总裁 Dario Amodei,先后就读于普林斯顿大学和斯坦福大学;再比如 InstructGPT 背后论文共同作者之一 Gretchen Krueger,MIT、哈佛大学、哥伦比亚大学都是他的母校。

  出走团队打造 ChatGPT 竞品对话式 AI

  毫无疑问,GPT 系列背后的 51 人引领了大语言模型的创新风潮。从 GPT 系列结束战斗后,不少人从 OpenAI 脱离。除开 GPT-3 共同作者、哥大博士在读的 Melanie Subbiah 本就不属于 OpenAI,50 人里共有 16 位人才从 OpenAI 流失。

  其中 8 位的最终流向是 AI 初创公司 Anthropic。更准确地说,包括 Dario Amodei、GPT-3 论文一作 Tom B. Brown 在内的一批核心人才不满 OpenAI 成为微软附庸——因被注资,OpenAI 要使用 Azure 超算来搞研究,要将技术授权给微软,甚至要给微软的投资活动筹集资金,这与 OpenAI 创立的初衷(关注高级 AI 安全)相悖。

  最终,包括 8 位 GPT 系列作者在内,共 11 名 OpenAI 前员工怒而离职,于 2021 年创办 Anthropic,要搞能控制、可解释的 AI,重心放在生成式 AI 上。

  △出走创办 Anthropic 的 GPT 系作者

  1 月底,Anthropic 开始内测聊天机器人 Cladue。同为生成式对话 AI,与 ChatGPT 的同台竞赛不可避免,二者各有千秋,最终测评结果:Claude 在 12 项任务中有 8 项更强。

  关于 Anthropic 的最新消息让这家“复仇者联盟”愈发走到人们熟悉台前。月初,谷歌向它投资 3 亿多美元(约合人民币 20.3 亿元),拿下后者约 10% 的股份。交易条款要求,Anthropic 需要从谷歌云计算部门购买计算资源。这恰好与 3 年前,OpenAI 接受微软高达 10 亿美元的注资,将微软定位独家云提供商所呼应。

  换句话说,Dario Amodei 带着 Anthropic 走上了 3 年前所不齿的 OpenAI 的老路,接受金主爸爸提供的算力来进行技术开发。现如今,Anthropic 最新估值 50 亿美元,除谷歌外,已有的投资人包括 Facebook 联创 Dustin Moskovitz,谷歌前 CEO、现技术顾问 Eric Schmidt 等人。

  也曾有人转投谷歌门下

  OpenAI GPT 系作出走 16 人,Anthropic 是他们的主要流向,剩下 8 人中,有 3 位第一时间投入谷歌门下

  其一是 GPT-1 的三作 Tim Salimans,2018 年 7 月他就履新谷歌大脑,base 阿姆斯特丹,担任职位为高级管理科学家;其二是 GPT-2 的四作 David Luan,2020 年 9 月起他加入谷歌任主管,工作 1 年多后离职,后来和 Transformer 论文作者 Ashish Vaswani、Niki Parmar 一起,创办了一家叫 Adept 的公司,目标是创造让人和计算机能够协同工作的通用人工智能;第三位叫a,在 2021 年 3 月加入谷歌大脑。

  时至今日,Adept 和 Anthropic 两家 AI 公司的声量比不上风头正盛的 OpenAI 和其强劲对手 DeepMind,不过各自在 AI 产业界颇有建树,甚至拿出 Claude 这种可与 ChatGPT 一较高下的产品。从这两家公司的今日成就不难侧面看出,GPT 系作者是的确不是等闲之辈。

  LaMDA:1/4 成员只有本科学历

  梳理完 GPT 系论文作者现状,镜头转向谷歌的 LaMDA 论文背后团队,作者共60 名。和 GPT 系作者团一样,LaMDA 作者团队同样不乏耀眼的名校背景,斯坦福校友最多,统共有 6 人;其次是哥伦比亚大学,有三人曾在哥大就读;接着是浙江大学、比拉科技学院、杜克大学、上海交通大学、耶鲁大学、台湾大学,这 6 所大学出现了 2 次。

  不过有一说一,相比较而言,LaMDA 团队的名校光环更少,成员的学校背景中常出现阿比林基督教大学、伊比利亚美洲大学、哈丁西蒙斯大学等类似的非顶尖名校。

  15 位作者只有本科学历,多数人出身计算机专业

  还有三个特点在 LaMDA 作者履历中显现。

  第一,至少有 17 人在某个求学阶段主修学科为计算机工程/科学,计算机学科背景贯穿求学始终的人也不在少数,像 Hongrae Lee,先是在首尔国立大学拿下计算机科学本硕学历后,又赴往哥伦比亚大学攻读计算机科学博士学位。

  第二,据不完全统计,至少有 15 位 LaMDA 论文作者只拥有本科学历,这些人中有一半就读的专业是计算机工程/科学。

  第三,有 7 位 LaMDA 论文作者在谷歌工作了 10 年以上,资历最老的是 Igor Krivokon,截至今年 2 月,他在谷歌的工作年限为 19 年又 5 个月;Will Rusch 也在谷歌工作了 19 年,从美国南加州大学电气工程系毕业后,他就成为了谷歌的一份子,直到今天。

  △Igor Krivokon△伊戈尔·克里沃康

  上文提到,有5% 的 GPT 系作者跑到了对家谷歌干活,相比之下,LaMDA 论文作者,没有一位跳槽到对家 OpenAI,很稳。那么,究竟是什么样的公司,能够得到出走的 LaMDA 论文作者的法眼?

  答案是两家 AI 初创公司,一家是 Inflection AI,另一家是 Character.AI。

  出走后,成 AI 初创公司 Inflection AI&Character.AI 创始团队

  先来聊聊 Inflection AI,这家机器学习初创公司是 LaMDA 作者中的 Joe Fenton,和从 OpenAI 出来的 Rewon Child(3 位投奔谷歌的出走成员之一)共同创立,创始团队中还有 LinkedIn 联创 Reid Hoffman 和 DeepMind 创始成员、谷歌人工智能产品与政策副总裁 Mustafa Suleyman,阵容十分豪华。LaMDA 论文作者,曾担任谷歌研究工程师的 Maarten Bosma 在公司成立后也被挖走,现为 Inflection AI 技术人员。

  据了解,这家公司的总体目标是利用人工智能帮助人类与计算机“对话”。去年 5 月,Inflection AI 获得了 2.25 亿美元的A轮融资,资金来源尚不清楚,公司估值超过 12 亿美金。

  以及,现有 5 名 LaMDA 论文作者进入 Character.AI 就职。

  Character.AI 的创始人 Noam Shazeer 是谷歌前首席软件工程师,不仅参与了 LaMDA 的研究,还是 Transformer 论文作者之一。杜克大学本科毕业后,2000 年年底,Noam Shazeer 加入谷歌,是谷歌最重要的早期员工之一。虽然中途一度离职,但截至他 2021 年 10 月离职创办新公司,共在谷歌工作了 17 年又 5 个月。Character.AI 的现任总裁也是 LaMDA 论文作者,Daniel De Freitas,加入谷歌前,他曾在微软 Bing 做软件工程师。

  实际上,LamDA 论文发表时,Noam Shazeer 和 Daniel De Freitas 都已经从谷歌离职,开始筹备 Character.AI 了。据报道,Character AI 已经创建了一个基于 LaMDA 的神经语言模型聊天机器人 Web 应用程序,能够生成类似人类的文本响应并参与上下文对话。

  额外提一点,除 LaMDA 背后作者外,谷歌的大模型人才近期流动也都比较频繁。先不用说 BERT 模型四位作者之一,被称为 BERT 之父的 Jacob Devlin 今年 1 月刚刚离开谷歌加入 OpenAI,看看去年 ChatGPT 发布页面的致谢名单里,就有 Barret Zoph 等 5 个人,都是谷歌前员工,他们在 ChatGPT 问世前加入 OpenAI,在调整和准备 ChatGPT 中发挥了关键作用。此外,The Information 消息披露,进入今年 1 月,又有至少 4 名谷歌大脑成员加入 OpenAI。

  危急存亡之秋,谷歌嗅到了人才流失的危险,相继推出了一系列举措。除却重金投资 OpenAI 出走团队打造的 Anthropic 外,其旗下专注语言大模型领域的“蓝移团队”(Blueshift Team)宣布,正式加入 DeepMind,旨在共同提升 LLM 能力——先进行阵列自行调整,集中内部力量,迎接 OpenAI 炮火。

  人才大战里的华人面孔

  今年年初,大模型人才的跳槽愈发频繁。从谷歌加入 OpenAI 的谷歌大脑 4 人之一中,包括华人顾世翔(Shane Gu),谷歌大脑日本团队前成员,剑桥大学博士,本科在多伦多大学师从三巨头之一 Hinton。去年 5 月,只要加上一句“让我们一步一步地思考”就能让 GPT-3 做数学题的准确率暴涨 61% 这事,就是顾世翔参与的研究发现。

  像他这样,在谷歌和 OpenAI 的人才争夺大战中出现的华人面孔还有多少?据不完全统计,共有 16 人,LaMDA 论文作者里就有 14 人,占 87.5%,也就是说华人面孔占据了大模型 111 人中的 14.4%。

  这里要着重提 2 个人。一位是美籍华人Ed Chi,1973 年出生,现为谷歌杰出科学家,早年以应用资讯气味理论预测网站可用性而闻名。

  从美国明尼苏达大学双城分校取得硕士学位后,Ed Chi 于 1997 年至 2011 年期间,在帕洛阿尔托研究中心(PARC)担任研究科学家。2011 年,Ed Chi 以高级研究科学家的身份从 PARC 离职,成为谷歌的一名研究科学家。2012 年,他担任任人机交互领域最负盛名的学术会议 CHI 的技术项目联合主席。2017 年,Ed Chi 被提升为谷歌首席科学家。

  另一位要提到的是欧阳龙(Long Ouyang),他参与了与 ChatGPT 相关的 7 大技术项目中的 4 项研究,包括 InstructGPT、webGPT、RLHF 和 ChatGPT,是 InstructGPT 论文的一作,RLHF 论文的第二作者。

  革命性科技浪潮背后,人才频繁流动

  梳理后不难看到,谷歌和 OpenAI 虽为大模型重镇,但人才流动其实是很寻常的事。仅仅在本文涉及的人员里,GPT-2 论文四作和 Transformer 论文一作和共同创办的 Adept,不到半年就亮出了新公司的首个大模型 ACT-1;Anthropic 更是凭借对话机器人 Cluade 成为谷歌和 OpenAI 大战中的一把利刃。

  △大模型人才从 OpenAI 和谷歌出走后,创立的 AI 初创公司

  总体而言,爆炸性的 ChatGPT 让大模型背后的人才更加收到世人关注,对这些人来说,ChatGPT 带来的风口也是他们必须迎头面对的挑战。

  由此提出一个思考:做类 ChatGPT 产品,中国的优势在哪里?

  很大程度上,构筑大模型堆参数、堆数据的大力出奇迹之道,其实是中国团队向来擅长的事情。但不可否认,小公司负担不起高昂的天价成本,大公司需要综合考虑整体战略,种种因素,从不同角度成为一个中国版 ChatGPT 诞生的外在桎梏。

  如此一来,破除外在束缚需用巧力。在算法、数据等都存在差距的现实条件下,人才,或许能成为这场轰轰烈烈全球擂台赛里的破局点。大模型背后的每一个参与者和理念、数据、技术拥有同等的重要价值。中国不缺人,更不缺人才,从 GPT 系论文和 LaMDA 论文背后的华人作者数量更可以看到 AI 人才的实力,人才的聚集能形成人才规模核心竞争力。

  The battle of AGI never ends!埋头研究,伸手抢人的现象,已经在国内出现。想招人的,想找工作的,都可以开始准备了。