一年心血被毁,OpenAI超级对齐负责人愤而出走Anthropic!Ilya去向依旧成谜

  新智元报道

  编辑:编辑部

  出走 OpenAI 的超级对齐团队负责人 Jan Leike,刚刚官宣了自己加入 Anthropic 的消息,并且开始高调招兵买马。同时,外界也开始对 Ilya 的去向纷纷猜测:是去 Anthropic,xAI,还是自立门户?

  OpenAI 超级对齐团队负责人 Jan Leike,在前不久愤而宣布辞职后,刚刚公布了自己的新去向——入职 Anthropic。

  Anthropic,俨然已经成为 OpenAI 离职人员的「避难所」,OpenAI 价值观对立面的大本营。

  Jan Leike 开心表示:自己非常高兴能加入新团队,继续执行超级对齐任务。

  在 Anthropic 的新团队,自己会致力于可扩展的监督、弱到强的泛化和自动对齐研究。

我很高兴加入 AnthropicAI,继续超级对齐的使命!我的新团队将致力于可扩展监督(scalable oversight)、弱到强的泛化(weak-to-strong generalization)和自动对齐研究(automated alignment research)。如果你有兴趣加入,请私信我。

  当初,Anthropic 就是由 OpenAI 的「叛逃」员工创立的。

  在 2021 年,Dario Amodei 因为在安全观念上与 OpenAI 严重不合,而且极度不满 OpenAI 日益增长的对于商业化的关注,出走后创建了老东家的对家。

  并且,Amodei 还一并带走了 OpenAI 的政策负责人 Jack Clark。

  毕竟,Anthropic 一直将自己定位为比 OpenAI 更注重安全的公司——

  不仅会把更多资源倾斜给了模型安全,而且对齐做得也要好得多。

  发布至今,Claude 3 已经获得了业内人士和用户的齐声称赞,在使用量上成为了 ChatGPT 的最大竞品之一,指令遵循的能力也比 GPT-4 要强。

  在最新的 LMSYS 排行总榜上,Claude 3 Opus 排在第六名,与 GPT-4-Turbo 的得分非常接近,而且获得的投票数非常高,仅次于开源的 Llama 3。

  Anthropic 成立全新团队,迎接 Jan Leike

  并且,Leike 还发出英雄令,呼吁大家一起加入自己的对齐团队——

  如果你对大模型的安全想做一番贡献,如果你也对 OpenAI 的理念感到无法认同,就赶快到这里来吧!

  现在,Leike 的团队已经在紧锣密鼓地组建中。

  在 Anthropic,专门有一帮从事可扩展监督研究的研究者,他们正在研发的技术,目的就是以可预测和理想的方式控制大规模 AI。

  据悉,这些研究者将向 Leike 汇报工作,而 Leike 将直接向 Anthropic 的首席科学官 Jared Kaplan 报告。

  听起来,OpenAI 最近解散的超级对齐团队,这是被齐齐整整地搬到 OpenAI 了?

  此前,Leike 的超级对齐团队本来立下了雄心勃勃的目标——在四年内解决控制超级 AI 的核心技术挑战。

  然而前不久的一场宫斗才让我们知道,超级对齐团队在 OpenAI 着实受了不小的委屈。

  据团队内的一名成员透露,他们得到了公司承诺可以获得 20% 的算力,但要求访问这些计算资源时却经常被拒绝。

  这种说法也可以从 Jan Leike 的推文中得到印证。

  宣布辞职当天,他发布了多条推文,暗示了超级对齐团队的工作在 OpenAI 内部并没有得到应有的重视,因此和公司领导层发生了无法调和的冲突。

当初加入是因为我认为 OpenAI 将是世界上进行这项研究的最佳场所。 然而,相当长一段时间以来,关于公司核心优先事项,我一直与 OpenAI 领导层的观点存在分歧,最终达到了临界点。

我认为我们应该花更多的精力为下一代模型做好准备,涉及保障、监控、准备、安全、对抗鲁棒性、(超级)对其、保密性、社会影响和其他相关议题。 这些问题很难解决,而且我担心我们还没有走上正确的轨道。

在过去的几个月里,我的团队一直在逆风航行。有时我们在算力方面遇到困难,完成这项重要的研究变得越来越困难。

  一位匿名 OpenAI 员工将这个过程形容为「对公司和奥特曼本人的信任一点一点崩溃,就像多米诺骨牌一张一张倒下」。

  总之,事情的结局就是,Ilya 和 Leike 先后宣布离开 OpenAI,这场「分手」怎么看都不像很愉快。

  Ilya 的下一步是什么?

  辞职不久的 Jan Leike 已经定下了去处,但 GPT-4o 发布后最先出走的 Ilya Sutskever 目前还没有消息。

  作为 OpenAI 的联合创始人、AI 圈的顶流科学家,Ilya 的辞职引发了纽约时报、CNN、时代杂志等多家媒体的跟踪报道。

  在当初宣布辞职消息的推文中,Ilya 透露自己找到了下一步心仪的项目,他形容为「对我个人非常有意义」,并将在适当的时候分享。

  外媒 The Information,最近也撰文一篇,对 Ilya 的去处展开了一番大猜测。

  记者猜道,Ilya 或许会加入 OpenAI 的直接竞争对手公司,比如 Anthropic,或者马斯克的 xAI。

  当然,他也有可能会像 Dario Amodei 一样创办自己的公司,直接跟前雇主竞争。

  无论是哪种选择,他跟 Sam Altman 的关系,恐怕都会加剧紧张。

  如果 Ilya 选择创办自己的公司,在吸引投资方面应该不会有任何困难。

  当然,这其中也有一些细节需要厘清。

  比如曾向 OpenAI 投入巨资、让 OpenAI 过快发展 AGI、导致 Ilya 担忧的那些硅谷 AI 投资者,Ilya 是否愿意向他们筹集资金呢?

  风投中一向有避免投资竞争对手的规矩,这些风投家是否愿意打破规则呢?

  其中,红杉资本、a16z、Thrive Capital、Khosla Ventures 和 Founders Fund 等许多公司都是 OpenAI 的投资者。

  而 Thrive 和 Khosla,与 OpenAI 和 Altman 关系尤其密切。因此,他们不太可能会向 Ilya 提供资金支持。

  而红杉资本和 a16z 的态度就不确定了。虽然他们希望与 Altman 保持良好关系,但同时也表现出了和 OpenAI 竞品合作的意愿。

  比如上周末,马斯克 xAI 官宣了一轮 60 亿美元的融资,红杉和 a16z 就都有份参投。

  虽然许多创始人很不喜欢自己的投资者与竞争对手分享敏感信息,但非常多的投资者认为,鸡蛋不能放在一个篮子里。

  在如今的生成式 AI 浪潮下,最终胜出的玩家如今尚不明朗,在多个 LLM 上下注,绝不不失为一种明智的选择。

  而如今万众瞩目的 Ilya,无疑就是通向 AGI 竞赛中的一匹黑马。

  他的最大卖点,就是他的模型可以防止 AI 可能引发的灾难。

  对于某些投资者来说,这是个无法拒绝的诱惑。

  参考资料:

  https://www.theinformation.com/articles/whats-next-for-openais-ilya-sutskever

  https://x.com/janleike/status/1795497960509448617?