亚马逊开建AGI实验室,一号位也是华人

  Jay 发自凹非寺

  量子位 | 公众号 QbitAI

  靠电商和云计算席卷全球的亚马逊,正在借这一波 Gen AI 浪潮,续写新的故事——

  过去,它的 AI 战略定位是做基础平台,用户可以通过 Amazon Bedrock 获得全栈式服务。

  但大家可能不知道,去年 9 月,它在旧金山成立了自己的 AI 实验室,Amazon AGI SF Lab(以下简称亚马逊 AGI 实验室)。

  这标志着亚马逊的重大转型:从基础设施,转向更具雄心的 AGI 研发。

  而且,这个实验室的一号位还是名华人。

  大佬叫 David Luan,已有 15 年的 AI 相关工作经验。他是 OpenAI 的早期员工,曾做到工程副总裁,参与过 GPT-2、GPT-3、CLIP 和 DALL·E等多个重要项目的研发。

  论资历,Luan 绝对算市场中的老炮。

  实验室怎么来的?

  亚马逊之所以决定成立一家 AGI 实验室,主要是受 AGI 时代这柄双刃剑影响。

  一方面,如果 Agent 成了新的交互形态,人们不再亲自上网购物,那亚马逊依托于电商生态的广告和佣金业务,显然岌岌可危。

  但硬币的另一面是机会。

  作为数字化的鼻祖,亚马逊掌握着海量且极具价值的用户行为数据:用户的浏览路径、他们对促销、评论和页面布局的敏感度,以及不同群体之间的相似性。

  如果能把这座数据金矿挖掘到位,亚马逊完全有能力打造一个真正实用的模型,摘下那颗低垂的 Agent 果实。

  正是在这样的背景下,2024 年 6 月,亚马逊反向收购雇佣了 Adept AI。

  △亚马逊内部邮件

  “反向收购雇佣”指大科技公司不实际收购热门 AI 初创公司,而是争取初创公司的技术授权,吸纳其核心团队加入,但初创公司本身仍作为独立个体存在。

  这桩收购无疑是个大事件。

  收购完成后,亚马逊当即将重任交到时任 Adept AI CEO 的 David Luan 手中,并以他为首成立了亚马逊 AGI 实验室。

  量子位一通深挖,发现这个实验室真的是高手云集——

  首先,实验室的一号位,华人David Luan,毕业于耶鲁大学应用数学与政治科学专业。

  6 岁时,Luan 跟随家人从中国搬到了美国。

  从小,他就对计算机抱有浓厚兴趣,并且行动力惊人。

  8 岁起,Luan 就开始在伍斯特州立大学修读夜校项目,5 年苦读后,终于拿到了学校颁发的计算机科学证书。

  而且Luan 的 AI 职业起点相当早:2011 年,Luan 就创办了一家深度学习公司,专注于视频分类技术。

  这项成果后来被奥巴马政府用于改进执法记录仪。

  此后,为了追逐 AI 最前沿,Luan 开始在多家知名 AI 企业之间辗转。

  2018 年,他加入 OpenAI

  当时,OpenAI 团队规模还不到四十人。不久,他升任工程副总裁,他的任务不是写论文,而是将 GPT-2、GPT-3 等研究成果变成工程产品。

  △GPT-2 论文

  2020 年,Luan 转至 Google Brain,担任大语言模型项目的总技术负责人,聚焦于融合研究与工程的大型项目。

  但 1 年后,他就离开了谷歌。

  原因是他认为谷歌很多精力都分配在了广告和搜索相关的业务上,很难从零开始开展新的研究路线。

  而且大公司组织架构分散,难以集中发力。

  • 当时在谷歌,每个人有限定的资源 credit,要跑一个庞大训练任务,你得说服 19、20 个同事把这些资源让给你。

  离开谷歌后,他开始凭借自身专业的 AI 知识为公司提供咨询服务。

  直到 2022 年,他才再次出山,和两位 Transformer 作者(Ashish Vaswani 和 Niki Parmar)联合成立了 Adept AI。

  再后来,就是加盟亚马逊了。

  从上述经历不难看出,Luan 的实战经验可谓相当厚实。

  聊完 Luan,我们再来看看亚马逊 AGI 实验室的其他人——

  亚马逊 AGI 实验室的二把手是加州大学伯克利分校教授Pieter Abbeel

  Abbeel 是强化学习和机器人学领域的专家,带领团队在 Deep Q-Learning、模仿学习、自我博弈等方向上都做出过奠基性贡献。

  谷歌学术显示,他的论文被引量超过了 21 万

  加入亚马逊之前,他是一家专注于仓储和物流场景下的机器人拣货初创公司(Covariant.ai)的联合创始人。

  这个场景,正好击中了亚马逊的业务核心。

  2024 年 8 月,也就是 Adept 被收购不久后,亚马逊同样通过“反向收购雇佣”的方式,将 Covariant 纳入麾下,Abbeel 随之以研究员身份正式加入亚马逊 AGI 实验室。

  此外,当时跟着 Luan 一起搬家到亚马逊的,还有四名 Adept AI 的联合创始人。

  第一位是Erich Elsen

  Erich 在斯坦福机械工程系拿下博士学位,是 GPU 计算的专家。

  他曾在 DeepMind 担任资深研究员,参与撰写了包括多篇高被引论文,代表作包括 Chinchilla 定律、稀疏矩阵 GPU 内核。

  加入亚马逊 AGI 实验室后,Erich 负责多模态代理和强化学习基础设施。

  负责产品的是Kelsey Szot

  她拥有斯坦福数理与管科双学位背景,曾在麦肯锡做咨询顾问、在谷歌负责大型模型生产基础设施。

  2022 年,她联合创立 Adept AI,主导了 ACT-1 与 Fuyu-8B 等模型的产品化。

  最后还有Maxwell Nye 和 Augustus Odena这对好哥们(他俩就连在简历里也不忘提对方的名字)

  △Augustus Odena(左图)和 Maxwell Nye(右图)

  这对黄金搭档曾在谷歌共事,参与提出了Scratchpad,这一方法如今被视为现代 AI 推理系统的基石。

  不过,他俩在加入亚马逊不久后便选择离开了。

  两次反向收购雇佣、大量招揽顶尖人才……可以说,为了组建这个 AGI 实验室,亚马逊下了不少力气。

  让 David Luan 当一号位,凭什么?

  亚马逊 AGI 实验室人才济济,David Luan 到底有怎样的过人之处,才成为了亚马逊这支秘密队伍的领头羊?

  之前我们已经提到,Luan 自 2011 年便开始创业,除了先后加入微软、OpenAI、Google 外,他还是一位连续创业者。

  但要知道,Luan 的优势不仅体现在专业能力,还在于他的战略眼光。

  早在 2022 年——ChatGPT 问世之前,入局 AI 创业的 Luan 就有一套自己的想法:想办法让 AI 干活。

  • 我们创办 Adept AI 时,就发现大模型真挺擅长说话的,但没什么行动力。

  因此,他将目光投向了 Agentic AI,并成立了当时的第一家 Agent 公司——Adept AI

  2022 年 9 月,Adept AI 发布了首个 Agent 模型,ACT-1

  这个模型能够通过自然语言指令执行屏幕任务,如在浏览器中导航、填写表格和操作软件。

  当然,在今天看来这些能力好像已经并不新鲜。

  但朋友们啊,ACT-1 是三年前的产物!别说如今爆火的 Agent 了,就连 ChatGPT 都还没影子呢。

  Luan 认为,计算机应该去适应人类,而不是让人类去适应计算机。

  因此,Adept 也一直采取着这种以人为中心的方法论。

  成立不到一年,Adept AI 便完成了超 4 亿美元的融资,一举成为当年融资最成功的 AI 初创公司之一。

  加入亚马逊,给 AI 搭“健身房”

  说起来,Adept 干得风生水起,核心团队为啥后来要接受被并?

  主要有两点原因:

  首先,亚马逊坐拥全球最顶尖的算力基础设施之一,这是小公司无论如何都难以企及的。而对于 AI 行业来说,算力正是决定模型进步快慢的发动机。

  因此,想要前往智能的前沿,必须搭乘拥有发动机够猛的“跑车”。

  其次,亚马逊还能提供稀缺的真实数据

  经过这么多年的挖掘,互联网上的高质量数据已经快要枯竭了,大模型发展因此开始减速。

  事到如今,人类在日常工作中的实际操作数据成为了高质量的稀缺训练数据。

  AI 大神Andrej Karpathy对此曾做过一个类比:

  • 想象你要训练一个打网球的智能体,你肯定不能让它 99% 的时间都在看 YouTube 网球视频,只用1% 的时间真正上场打球。

  在 Luan 看来,亚马逊业务范围极广,“几乎每个 500 强企业在现实里开展的核心业务,都能在亚马逊内部找到类似的事情”。

  这些能产生大量真实数据的内部环境,是 Agent 的最佳训练场所。

  还有一个最关键的原因,那就是 Luan 不甘心只是做一个提供 AI 销售服务的小公司

  • 在我的整个职业生涯中,我只想构建最智能、最有用的人工智能。

  因此,2024 年,Adept AI 与亚马逊达成反向收购雇佣,Luan 带着团队里最核心的技术人员一起加入了亚马逊 AGI 实验室。

  今年年初,亚马逊 AGI 实验室发布首个产品——Amazon Nova Act,一个基于亚马逊内部最强自研 AI Amazon Nova 延伸出来的 Agent 模型。

  它继承了 Adept AI 的技术遗产(ACT-1、Fuyu 模型等),又结合亚马逊的 AWS 基础设施,在多步骤复杂任务上表现出色。

  根据亚马逊官方披露,Nova Act 在 Agent 的公开基准测试 ScreeSpot 和 Ground UI 上取得了不错成绩。

  并且在 ScreeSpot 界面元素定位上的表现格外优异,准确率接近 94%

  亚马逊 AGI 实验室透露,这里面的秘诀在于强化学习

  • 我们在亚马逊 AGI 实验室做的是大规模自我博弈。十几年前,DeepMind 靠这种方式击败了人类。

  亚马逊 AGI 实验室没有靠人力去给每一个操作编码,据 Luan 所说,他们为 AI 搭建了一间“健身房”。

  在这间健身房里,随处可见各种常用的“健身器材”,比如 ERP、CAD、电子病历系统、会计软件等。AI 可以利用这些工具,通过强化学习自己摸索出正确的使用方式。

  没想到,人工智能也需要健身了。(手动狗头)

  看来,加入亚马逊 AGI 实验室后的 Luan 仍然谨记实用主义的信仰,一心只为打造最有用的 AGI

  One More Thing

  最后,八卦时间~

  Adept AI 最初的 3 名核心发起人,一位是 David Luan,还有两位都是 Transformer 八子之一。

  一位是 Niki Parmar,另一位是 Ashish Vaswani。

  不过,Vaswani 不到一年就离开了。

  △从左到右:Niki Parmar, Ashish Vaswani, David Luan

  据彭博社爆料,Vaswani 离开的原因是与 Adept AI 的某位联合创始人意见不合。

  已知:Vaswani 离开 Adept AI 时,Parmar 跟着一起离开了,两人后来又联合成立了 Essential AI。

  求:和 Vaswani 意见不合的,会是谁呢?

  参考链接:

  [1]https://www.theverge.com/decoder-podcast-with-nilay-patel/761830/amazon-david-luan-agi-lab-adept-ai-interview

  [2]https://www.youtube.com/watch?v=AU9Fdgs0ZaI

  [3]https://labs.amazon.science/blog/amazon-opens-new-ai-lab-in-san-francisco-focused-on-long-term-research-bets

  [4]https://www.wired.com/story/amazon-ai-agents-nova-web-browsing/

  [5]https://www.linkedin.com/in/jluan/details/experience/

  [6]https://x.com/jluan/status/1267097243204476932

  [7]https://www.latent.space/p/adept

  [8]https://labs.amazon.science/blog/nova-act