Ilya左膀右臂被Claude团队挖走!给他奥特曼砍掉的超级对齐算力

  衡宇发自凹非寺

  量子位公众号 QbitAI

  刚从 OpenAI 愤而离职的 RLHF 发明者之一 Jan Leike,宣布加入 Anthropic。

  就在十多天前,追随 Ilya Sutskever 的脚步,Jan 也和他俩共同领导的超级对齐团队说了拜拜。

  现在,Jan 的去向落定,迅速加入 Claude 团队 Anthropic。

  至于职务嘛,与他在 OpenAI 超级对齐团队干的活类似:我将在 Anthropic 继续执行超级对齐任务!

  新团队将致力于可扩展监督、从弱到强的泛化和自动对齐研究。

  有意思啊有意思,要知道,Anthropic 创始团队也是当年从 OpenAI“叛逃”出来的。

  当年,曾任 OpenAI 研究副总裁的 Dario Amodei 等人,由于对 OpenAI 商业重点、与微软的关系远近、对安全的重视程度等存在分歧,毅然决然组团出走。

  这才有了今日可以与 OpenAI 相抗衡的 Anthropic,才有了打破 GPT 不可战胜神话的 Claude 3。

  Jan 的官宣推特底下一片恭喜声,甚至有人形容 Jan 加入 Anthropic 带来的价值,“就像金门大桥为旧金山增加价值一样——他将帮助拨开 AI 安全研究的迷雾”。

  当然也有人担心,过于注重 AI 安全会让模型实用性下降:

  “恭喜恭喜!从今以后 Claude 就会变得平庸无奇没啥用了,毕竟 GPT-4o 发布之前(超级对齐两位领导人离职前)的 ChatGPT 就是这样。”

  但 Anthropic 内部员工倒是挺开心的,甚至有人公布了自己内部的“玄学”:

  过去的日子里,他们每周都要拜一下 Jan,期望他保佑对齐研究顺顺利利。

  Anthropic 创始成员、ChatGPT 前身 InstructGPT 的参与者 Amanda Askell,还去向 Claude“求签”了。

  答案是:

  Claude 也很欢迎 Jan 的到来~

  痛快加入 OpenAI 最强劲敌

  今天凌晨,Jan Leike 发布推特,宣布成为 Anthropic 的一员。

  此时距离他追随 Ilya 离开 OpenAI,刚好过去 14 天。

  加入 Anthropic 后,Jan 的目标很明确:

  继续执行超级对齐任务,主要包括可扩展监督(以可预测和理想的方式控制大规模 AI 行为的技术)、从弱到强的泛化和自动对齐研究。

  来自 TechCrunch 的消息,Jan 将直接向 Anthropic 首席科学家 Jared Kaplan 汇报。

  而目前 Anthropic 正在研究可扩展监督的团队,将转向 Jan 汇报。

  一直以来,由 OpenAI 的 11 名出走员工打造的 Anthropic,经常在各种场合强调自家对安全性的高度重视。

  尤其是比 OpenAI 更安全。

  不过一些团队成员提起过,走高度重视 AI 安全这条路,经常会因为与 OpenAI 带领的主流路线不一致而走得不太顺。

  现在看来,在超级对齐这件事情上,两家大模型巨头也确实侧重有所不同。

  就在 Ilya 和 Jan 离职后没几天,OpenAI 就解散了他俩曾经共同领导的超级对齐小组

  超级对齐概念在去年 7 月被提出,OpenAI 原本的打算是花费 4 年时间打造一个超级对齐系统,旨在构建一个能够与人类水平相媲美的自动对齐研究器。

  当时的对外宣布,是说会在这事儿上投入 20% 的计算资源——当然了,Ilya 离职时有内幕曝光,超级对齐团队的计算资源经常被卡……

  超级对齐小组解散后,OpenAI 悄悄招募了一个安全相关的团队。

  这个团队名叫Indent,是一家数据安全初创公司。

  值得一提的是,这家公司是 OpenAI 首席执行官奥特曼的老相识了:2021 年时,奥特曼参与了 Indent 约 560 万美元的种子轮融资。

  不过,Indent 这股新鲜血液,并不是 OpenAI 用来补充超级对齐人员流失的后备军。

  根据 Indent 团队在X上发布的信息,他们的职责范围主要还是保障数据安全。

  同时,就在昨天,OpenAI 成立了一个新的安全委员会,由奥特曼等高级管理人员领导。

  该委员会将向公司董事会推荐“OpenAI 项目和运营的安全决策”。

  最强模二代

  话说,Jan 刚加入的 Anthropic,可以算得上大模型时代的最强“模二代”。

  它一整个就是复仇者联盟配置——

  核心创始团队

  11 名 OpenAI 前员工,因不满老东家成为微软附庸、不够重视安全问题怒而出走。

  投资队伍

  初期有 OpenAI 老对头,又被 ChatGPT 的出现杀得措手不及的 Facebook 联创 Dustin Moskovitz,谷歌前 CEO、现技术顾问 Eric Schmid。

  今年 3 月,亚马逊完成了对 Anthropic 共 40 亿美元的重注。

  这样的配置,让团队在今年 3 月打破 GPT 系列不可战胜的神话,旗下 Claude 3 榜单性能跑分全面超越 GPT-4,成为首个全面超越 GPT-4 的产品,坐上了全球最强大模型新王座。

  转观国内市场,这样从大厂大模型团队/大模型创业公司出走创业的情况也不胜枚举。

  最近这段时间最有热度的就是字节跳动杨红霞离职创业一事。

  杨红霞起初是阿里达摩院的一员,是超大规模多模态预训练模型的技术负责人,也是相关模型进化到万亿规模的主要推动者。

  去年 3 月,杨红霞加入字节 AML(机器学习系统)团队,任字节跳动大语言模型研发技术专家,在美国西雅图从事大语言模型的研发。

  她的汇报对象,是字节跳动 AML 和豆包大模型 Foundation 团队负责人项亮。

  近期又有消息曝出,杨红霞已于近日从字节跳动离职,并开始筹备 AI 创业项目。

  这就能看出国内外模二代的不同之处——Anthropic 下场时间很早(甚至是 ChatGPT 爆火之前),而国内基座大模型市场份额基本已经被大厂和五虎等瓜分。

  因此,选择出走另谋出路的朋友们,往往和杨红霞一样,选择投身更具体的 AI 细分领域施展抱负

  量子位从市场获悉的消息如下:

  △或有缺漏与误传,欢迎评论区留言指正

  当然了,除了出走大模型创企/大厂团队,自己躬身创业的有识之士,也有像当初杨红霞一样,选择加入现有头部玩家的 AI 届大牛。

  譬如,不知是否受近期微软中国区人工智能团队“轮岗海外”的事件影响,微软资深首席研究员段楠,被曝已经离开 MSRA(微软亚洲研究院)。

  去往何处?

  量子位打听到,段楠已经加入了大模型创业公司的最神秘玩家阶跃星辰。

  无论是 OpenAI、Anthropic,还是国内大模型头部玩家,它们之中人员或多或少的洗牌,带给大模型创业市场的,是更新的血液,也是你追我赶局面的最强助力。

  参考链接:

  [1]https://x.com/fouadmatin/status/1793350695476933108

  [2]https://techcrunch.com/2024/05/28/anthropic-hires-former-openai-safety-lead-to-head-up-new-team/?guccounter=1

  [3]https://x.com/kipperrii/status/1795506990137139468

  [4]https://x.com/janleike/status/1795497960509448617/quotes