成都女生李飞飞如何改写了AI进程

  李飞飞,现在是 AI 圈内外一个人尽皆知的名字。

  她是斯坦福大学终身教授,HAI(以人为本 AI 研究院)院长,新晋独角兽 World Labs 创办者,具身智能、空间智能多项前沿 AI 技术引领者,以及改变深度学习命运的 ImageNet 的创造者。

  她(可能)也是 AI 领域地位最高的华人,不论是从学术,还是产业影响力,她的门生桃李,正在全面影响着 AI 的进程,包括她没那么正面评价的“AGI”……很多人关注李飞飞的过去,更多人则期望这个从成都走出的华人女性未来有更大的成功,甚至给了她“AI 教母”的称谓。

  即便她跟 Hinton 一样,不是 AI“科班出身”。

  被物理学迷妹改写的 AI 进程

  李飞飞最开始学习的专业是物理学,她的偶像是爱因斯坦。

  在 2024 年诺奖影响下,物理学和 AI 之间的关系变得奇妙,但在 1995 年不是如此。

  1990 年代,Hinton 的反向传播算法为神经网络补全最后一块拼图,LeCun 在卷积神经网络上的突破证实演算法能在现实世界中运作。

  但是人工智能依旧处于寒冬时代。在计算、数据等方面的制约下,神经网络的能力无法完全释放。

  李飞飞与人工智能的第一次直接接触,是大二暑假去 UC 伯克利分校担任一项实验的项目助理。

  这是一项探索大脑运作机制的实验。在去之前,李飞飞一直担心自己没有生物学背景,不能被研究团队所接纳。

  但意料之外,这是一项要从计算角度研究大脑的实验。希望通过截取猫大脑的信号,来重建猫看到的影片。最终这项研究被发表在了《神经科学期刊》上。

  这为李飞飞人生中几乎最重要的选择埋下伏笔。

  1999 年,当李飞飞从普林斯顿大学物理系毕业后,面对来自华尔街诸多诱人的 offer,在家人的支持下李飞飞遵循本心,选择做科学家。

  但是做什么样的科学家?

  在 UC 伯克利的实验让她看到了智能的奥秘,也让她意识到,钻研视觉或许是解开智能奥秘的关键。

  因此在硕士阶段,李飞飞奔赴加州理工学院,师从计算机视觉专家 Pietro Perona 教授和 Christof Koch 教授,并行研究神经科学和计算机科学。

  如果一定要计算,2001 年,李飞飞才正式开始学习人工智能。

  这时距离她人生中影响力最大的工作——ImageNet 被提出,只有 5 年。

  2009 年 6 月,至今仍是世界上最大的图像标记数据集 ImageNet 发布,让李飞飞和她的团队一跃成为 CV 领域最耀眼的明星。

  简单理解,这是一个精选的互联网图像数据集,共计 1500 张图片,涵盖 22000 个概念、对象类别概念。

  如此规模与形式,放在当下不足为奇。但是在演算法占据 AI 领域主导地位的 2006 年,ImageNet 更像是一个怪想法。

  一方面,当时的人工智能领域尚处于寒冬之中。演算法是主流方向,大家都在做一些复杂的网络,数据被认为不过是一种训练工具。

如果把机器智能比作生物智能,演算法就像是突触,或者说是大脑里错综复杂的线路。因此,最重要的莫过于使这种线路变得更好、更快、更强大。

  另一方面,ImageNet 从被提出开始,就是冲着大规模去的。李飞飞从 WordNet 上找到灵感,参考这个大型词汇数据库,她希望从图像维度建立起一个“人类意义地图”,那么 ImageNet 将拥有几万个类别。

  这个规模放在当时是不可思议的。彼时,一个模型能辨认一、两个类别就已经很了不起了。

  这么做有必要吗?用这么多图像训练一个模型要花费多少时间?会有人用吗?以及背后巨大的工作量,给每一张图像加上标注又需要多少时间?

  因此,当李飞飞带着 ImageNet 的想法与同事讨论时,往往孤掌难鸣。

  以及这个计划对李飞飞自己的前途也将产生颇多影响。被她尊称为“学术祖父”的 Jitendra Malik 就曾劝导她,尽管 ImageNet 是电脑视觉所需要的,但是科学的窍门是跟着领域一起成长,而不是跑在领域的前头

他说如果我这样做,可能很难获得终身教职。

  但从最纯粹的学术角度来看。李飞飞意识到,当时的机器学习有些停滞不前,大家都在做更复杂的模型,却没有足够的数据来驱动机器学习。用更行业内的话来说,泛化上存在问题

  她在自传中写道:生物智能不像演算法那样是被设计出来的,而是演化的结果。而演化不就是环境对生物的影响?现代人类的认知,不是承载了无数代祖先生活、死亡与不断适应的印记?

  现在人类能够立刻辨认出一种物体,得益于此前的感官刺激。对应来看,自然图像就是数据

  所幸,这种认知还是有人认同。

  在普林斯顿,李飞飞遇到了“第一位知音”——李凯教授。

  李凯教授是 1980 年代的留美高材生,拿到了耶鲁大学全奖录取通知书。师从世界上第一位图灵奖获得者 Alan·Perlis,博士毕业后来到普林斯顿大学任教并成为计算机系终身教授,也是当时普林斯顿计算机系教职员工中仅有的华人面孔。

  遇见李飞飞时,李凯已是微处理器架构的顶级专家,他擅长把数百万个纳米级电晶体组成全世界最精密的装置,是高效廉洁微处理器与大容量存储装置的先驱。也曾在硅谷创业,研制出世界上首款商用重复数据删除产品,并在后来被易安信收购。

  李飞飞自述中说,李凯教授即像她的母亲,很知性;又像她的父亲,很会自我解嘲。是个看上去不苟言笑、衣着朴素,但实则又温暖慷慨的人。

  他成为了当时极少数看好李飞飞的人之一。

李教授比大多数人都了解指数思维的威力。他相信我正在追求某个重要目标。

  由于所在领域的交集不多等因素,李凯没有直接参与 ImageNet 计划。但他为李飞飞提供了两项重要帮助:捐赠一组初始工作站;引荐得意门生邓嘉,后来他更为人熟知的身份是 ImageNet 第一作者。

  由此,在 2007 年的普林斯顿,ImageNet 正式启动了。

  此后大约 3 年时间里,李飞飞师徒二人都投身于此。其中面临的困难自不必说,工作量巨大、鲜有人看好、烧钱……

  2009 年,李飞飞已经带着邓嘉和绝大部分学生来到了西海岸的斯坦福后,ImageNet 才终于完成第一版,并在 CVPR 上正式亮相。

  之后为了进一步推广 ImageNet,李飞飞开始举办 ImageNet 挑战赛。这个比赛邀请全球学者通过 ImageNet 进行对象识别,让不同的算法能够在同一基准下进行比较。

  即便如此,ImageNet 产生的影响也还很有限。

  直到 2012 年,时间线开始收紧,Hinton 与李飞飞的故事终于发生交集。

  有一天夜里,邓嘉突然给李飞飞打来电话。一向内敛冷静的学生,语气激动:我们看到了一份与众不同的作品。

  这就是AlexNet

  后面的故事开始变得更为人熟知。凭借着惊人的准确率,AlexNet 重新证明了神经网络,也开启了人工智能第二轮浪潮。

  再后来,Hinton 带着 Ilya、Alex 完成拍卖,自己加入谷歌;Ilya 加入 OpenAI 担任首席科学家,推动了 GPT 早期版本、DALL·E系列、CodeX、ChatGPT 等技术诞生。

  变革的齿轮加速转动。

  那么,李飞飞呢?

  在 ImageNet 大获成功后,李飞飞的 AI 之路变得顺畅。

  2012 年,她拿到斯坦福终身教职,晋升为副教授。于 2013 年开始领导斯坦福人工智能实验室。

  期间,她还利用学术假期加入谷歌云人工智能暨机器学习的中国中心团队。这时是 2016 年,深度学习革命开启之年。

  之后,2017 年 1 月-2018 年 9 月,她出任谷歌副总裁,并兼任谷歌云 AI/ML 首席科学家。

  2018 年 9 月,李飞飞宣布返回斯坦福任教,并任斯坦福以人为本人工智能研究院(HAI)院长,同年晋升为终身教授。

  2020 年,李飞飞当选为美国国家工程院院士、美国国家医学院院士;2021 年当选为美国文理科学院(艺术与科学院)院士;2021 年 11 月当选为 IEEE Fellow。

  与此同时,从李飞飞实验室走出了数十位学生弟子。他们中诸多人物,亦为 AI 发展带来深刻影响。

  高徒群星闪耀

  执教快 20 年,李飞飞带出了一大批高徒,宛如群星闪耀——

  其中我们熟知的,有 OpenAI 创始成员 Andrej Karpathy、英伟达科学家 Jim Fan 和朱玉可,以及上海交大教授卢策吾、前 Google AI 中国中心总裁李佳、前阿里自动驾驶掌舵人王刚……

  带卡帕西时,当时他正读研二,李飞飞对这位身材欣长、说话速度颇快的学生评价是:

他有工程师般的勇气和毅力,不论是在白板上写满方程式,还是拆解电晶体收音机,对他来说都轻轻松松。

如果说爱因斯坦、波尔是宇宙的梦想家,那么卡帕西属于爱迪生或莱特兄弟一类的人。

  她给团队和卡帕西布置的任务是:输入一张图片,最终能自动输出文字说明。

  卡帕西第一次交的作业,看起来确实完成了。但是她指出,这项作业主要靠“匹配”已有数据来完成,无法应对新情况,也就是不具备泛化能力。

  遭受挫折的卡帕西,整个人瘫倒在座位上。看到他如此,李飞飞还插空提醒:

卡帕西和许多学生都有种常见的问题:一心在意自己的模型是否有效,却忘了去问它为什么有效。

  不过好在沮丧过后,卡帕西身上的“工程师特质”开始发挥作用。

虽然这时候没人知道他实际应该如何达成目标,但我知道,他心里那个工程师跟我一样会坚持下去。

他肯定做得到。

  果然,他最后成功了……

  读博期间,他还亲自设计并主讲了一门名为「CS231n:用于视觉识别的卷积神经网络」的课程,成为斯坦福授课深度学习的讲师。

  这门课一直广受好评,非常火爆。

  拿到博士后,卡帕西面对多种职业选择(当时普林斯顿大学愿意直接给他一个位子),最终却选择跳出学术界,毅然加入当时还名不见经传的 OpenAI。

  对此李飞飞还劝了一番,不过卡帕西一心认准了 OpenAI:

这真的跟其他地方都不一样。

  后来的事大家都很熟悉了,他曾二进二出 OpenAI,看起来颇有量子纠缠内味儿了(doge)。

  2016 年,他作为研究员加入 OpenAI(也是联合创始人),领导早期 GPT 系列、Dall·E系列以及 ChatGPT 等模型开发。工作 1 年零 6 个月后,被马斯克挖去了特斯拉,领导自动驾驶的计算机视觉团队。

  而特斯拉也在卡帕西和另一位负责硬件的 Pete Bannon 领导下,最终推出了 FSD。

  直到 2023 年 2 月,他再次回归 OpenAI,当时 Sam Altman 还发推表示欢迎。在近 1 年时间里,他建立了一个小团队,负责改进 GPT-4,然后就又离职了……

  而他的下一站,也是创业。

  今年 7 月,他宣布创办Eureka Labs,一家 AI 原生的新型学校。

  其首个产品,也是首门课程 LLM101n(老本行了)。

手把手带你构建一个类似 ChatGPT 的故事生成大模型,以及配套的 Web 应用程序。

  除了卡帕西,李飞飞的自传新书中,斯隆奖得主邓嘉更是被多次提及。

  邓嘉于 2006 年本科毕业于清华大学计算机系,随后赴美国普林斯顿大学师从李凯教授攻读博士学位。

  2007 年,他被导师李凯推荐给李飞飞,辅助 ImageNet 的研究。

  2009 年,当 ImageNet 发表时,邓嘉为第一作者。

  对于邓嘉,李飞飞评价他含蓄内敛:

从来没有见过头脑这么好,却完全不露锋芒的人。

  直到 2017 年李飞飞宣布停办 ImageNet 之前,邓嘉一直在帮忙运营 ImageNet 项目。

  博士毕业后(2012 年毕业),他于 2014 年开始担任密歇根大学计算机科学与工程系助理教授。

  仅干了 4 年,他又回到了普林斯顿大学。目前是该校计算机科学副教授,领导普林斯顿视觉与学习实验室。

  值得一提的是,他还获得过 2018 年斯隆研究奖 (Sloan Research Fellowships)。

  该奖代表了当今(美国和加拿大地区)最有前途的科学研究人员,自 1955 年设立以来诞生过众多诺贝尔、菲尔兹奖获得者。

  当然了,在李飞飞执教早期,还有两位学生不得不提:前 Google AI 中国中心总裁李佳、前阿里自动驾驶掌舵人王刚。

  李佳,1998 年进入中国科大自动化系学习,曾获得新加坡南洋理工大学硕士学位。

  2016-2010 年,李佳师从李飞飞攻读博士,在此期间还有一段师徒佳话

  因为李飞飞先后在 UIUC、普林斯顿和斯坦福任教,所以李佳也跟着3 换学校、3 考博士(每一次都成功了),是李飞飞最自豪的学生。

  毕业后,她于 2011 年加入雅虎,两三年后成为资深研究员,开始领导雅虎实验室的视觉计算和机器学习部门。在此期间,她获得 LEAP、Master Inventor 等公司内部奖项,并获得雅虎公司最高奖 Super Star 奖。

  2015 年 2 月,她新加入了 Snapchat,成为公司研发负责人,职责是开发核心 CV/AI 技术并为产品提供创新支持。

  此时的 Snapchat,已明确了 IPO 计划,一旦成功,将是 Facebook 上市以来,美国科技公司最大的一桩。

  按理说没有人会在此时选择离开。

  但导师李飞飞一召唤,李佳就在 2016 年 9 月离职了,师徒二人前后脚加盟谷歌。

  谷歌期间,她们发布了多个 AutoML 新产品和 Contact Center AI 集虚拟助理,并推动谷歌 AI 中国中心建立。李佳也出任谷歌 AI 中国中心总裁,帮助提升谷歌在中国的影响力。

  结束在谷歌的使命后,师徒二人再次前后脚离职,中间仅相隔 50 天

  这一边,李飞飞重返斯坦福,而李佳则考虑在 AI 方向上创业

  她先是在 StartX 担任联创&创始 CEO,为斯坦福校友的创业活动提供非营利“加速”支持。

  同时也在斯坦福教授 AI 医疗方面的课程,课程全名《AI 助力医疗保健》——

  主要运用计算机视觉等 AI 技术,解决当前医疗保健行业的问题,比如家庭护理、外科辅助分析、AI 辅助育儿、烧伤评估等等。

  最新情况是,她选择了面向企业的“AI 解决方案”这条创业路线。

  2023 年 3 月,联合创立LiveX AI,为企业提供聊天机器人、AI 搜索、语音智能体等各类产品,帮助企业增加付费转化并降低客户流失率。

  这下,师徒二人又都走上了创业之路,看起来依旧默契十足(doge)。

  另一位学生王刚,身上也是 buff 叠满:南洋理工大学终身教授、阿里无人车的开创者、达摩院自动驾驶实验室负责人、小蛮驴物流机器人之父……

  王刚,2005 年本科毕业于哈尔滨工业大学,其后于 2010 年在伊利诺伊大学香槟分校获博士学位,读博期间的导师正是李飞飞。

  28 岁博士毕业时,他已手握 10 篇顶会论文,引用量过千,是 AI 领域的新生代代表。

  2017 年加盟阿里前,34 岁的王刚已是南洋理工大学的终身教授。

  加盟阿里后,王刚出任阿里巴巴人工智能实验室首席科学家,后成为达摩院自动驾驶实验室负责人。

  他在阿里内部率先开启了自动驾驶探索,并确定了商用落地业务方向——完全无人驾驶的物流机器人

  阿里由此成立小蛮驴智能科技,王刚出任总经理。在 2020 年云栖大会上,小蛮驴正式对外亮相,进入量产和商用运营阶段,这是达摩院成立以来,最具感知力和话题性的创新产品之一。

  2022 年 1 月,王刚被曝离职阿里,开启创业。其创办的新生纪智能科技,方向为有大模型加持的商用清洁机器人

  据天眼查显示,这家公司今年进行了 2 轮融资,投资方包括天堂硅谷、普华资本和柏泉资本。

  除了自动驾驶,AI 领域的另一大热门——具身智能,也有李飞飞高徒的身影。

  上海交大教授卢策吾,2015-2016 博士后期间,指导导师也是李飞飞。

  2013 年,他获得了港中文大学计算机博士学位,导师为贾佳亚。

  随后又在香港科技大学,跟着邓智强教授做了 2 年博士后研究。

  2015 年,他拿到了李飞飞的推荐信,并最终受邀加入李飞飞实验室继续攻读博士后。

  当时正处于具身智能萌芽期,李飞飞和学生们正讨论开始研究机器人。

  在这期间,卢策吾认识了同门朱玉可。

  朱玉可,2013 年本科毕业于浙江大学计算机系,随后在斯坦福攻读硕博学位。

  加入李飞飞组后,朱玉可最初做的是视觉知识库,2015 年才和卢策吾一起转机器人。

  后来二人在机器人领域均大有成就。

  卢策吾回国后加入上海交大计算机系,目前是该校教授。

  2018 年,他被《麻省理工科技评论》选为“35 岁以下科技创新 35 人”,且基于其在具身智能领域的杰出贡献,获得了 2023 年科学探索奖。

  截至目前,他以通讯作者或第一作者在 Nature、Nature Machine Intelligence、TPAMI 等高水平期刊和会议发表论文 100 多篇。

  除了学术研究,他还横跨产业界:于 2023 年联合创立了穹彻智能(兼首席科学家),致力于研发具身智能系统及其相关工具与平台。

  最新消息,就在今年 9 月,这家公司完成了数亿元 Pre-A 轮融资

  此轮融资由 Prosperity7 Ventures 与广发信德联合领投,泽羽资本、创新工场、奇绩创坛、璞跃中国(Plug and Play China)以及 MFund 魔量资本等机构参投。

  而朱玉可,2019 年 8 月取得斯坦福大学博士学位后,目前也是产学两开花

  一边在德克萨斯大学奥斯汀分校担任计算机科学系助理教授,也是机器人感知与学习(RPL)实验室主任;

  一边和另一同门 Jim Fan(范麟熙)共同领导英伟达 GEAR 实验室(研究通用具身智能体)。

  没错,英伟达科学家 Jim Fan 也是李飞飞的学生。

  Jim Fan,本科毕业于哥伦比亚大学,是当年的优秀毕业生代表,获哥大 Illig Medal。

  2016-2021 年,他在斯坦福大学读博期间,就是在李飞飞的指导下开展深度强化学习、机器人学、CV 等领域的研究。

  有意思的是,期间他还成为了 OpenAI 第一位实习生(与 Ilya Sutskever 和 Andrej Karpathy 合作)。

  一毕业,他就加入英伟达,一路干到高级研究科学家,期间主导了多个具身智能项目:

  • Eureka:用 GPT-4 生成奖励函数,教会机器人完成三十多个复杂任务,被评为“2023 年英伟达十大项目”之一;
  • Voyager:第一个由大模型驱动,能熟练玩《我的世界》的智能体;
  • VIMA:第一个带有机械臂的多模态 LLM,为机器人学习引入了“多模态提示”;
  • MineDojo:将《我的世界》变成 AGI 研究游乐场的开放框架,斩获了 NeurIPS 2022 最佳论文;

  直到今年 2 月,老黄安排他和朱玉可(两位 90 后)共同负责 GEAR 实验室。

  至此,可以看出李飞飞高徒遍布 AI 各领域,且都有一股创业精神。

  而李飞飞本人,也在今年 9 月正式官宣创办 World Labs,瞄准空间智能。

  这家公司成立不到 4 个月时间,估值已突破 10 亿美元。

  有意思的是,这家公司的联合创始人之一也是李飞飞高徒。

  Justin Johnson,本科就读于加州理工,后于斯坦福大学获得计算机博士学位。

  读博期间,他和卡帕西还是论文搭子,两人一起在斯坦福度过了一段同门时光。

  同时,他和李飞飞一起构思了初版 cs231n,并在 2016-2019 年间,成为这门课的主要讲师之一。

  毕业之后,他获得了密歇根大学的教职,担任计算机科学与工程专业助理教授。

  同一时间还曾是 Meta FAIR 的研究科学家。

  除此之外,通过查看斯坦福视觉实验室人员名单,我们还发现了更多华人面孔

  De-An Huang(黃德安),2020 年获得了斯坦福大学计算机科学博士学位,师从李飞飞和 Juan Carlos Niebles。

  硕士毕业于卡内基梅隆大学机器人专业。

  读博期间,曾在微软、Facebook 和英伟达实习,毕业至今,一直在英伟达担任研究科学家。

  Alan Zelun Luo,目前是斯坦福大学计算机科学系五年级博士生。

  本科就读于伊利诺伊大学香槟分校计算机专业,后赴斯坦福大学攻读硕博。

  虽然还没毕业,但实习经历颇丰,曾在 Nvidia、Facebook、Google、Amazon、Yahoo 等机构实习。

  Yanan Sui(眭亚楠),目前是清华大学副教授,研究领域为机器学习、神经工程和机器人。

  2010 年本科毕业于清华生物医学工程专业,后在加州理工攻读计算机和神经系统博士、博士后。

  2020 年,他被 MIT TechReview 列为中国“35 岁以下创新者之一”,目前任国际会议 NeurIPS、ICLR 领域主席、期刊《生物医学工程学杂志》编委。

  Serena Yeung,目前是斯坦福大学助理教授,研究重点为视觉 AI 在医疗保健方面的应用。

  她领导着该校医学人工智能和计算机视觉实验室(MARVL),并担任医学与影像人工智能中心 (AIMI) 数据科学副主任。

  从 2006 年开始,本硕博均为斯坦福大学电气工程专业,还去哈佛大学做了 1 年博士后。

  One more thing

  在自传中,李飞飞提到,一直以来她都对科学的力量保持乐观态度。

但是这几年的风风雨雨告诉我,守株待兔无法获得乐观主义的果实

未来确实光明璀璨,但不是靠运气,而是必须一起透过努力、付出心血才能得到的——只不过我们还不清楚要怎么做。

  这一定程度上解释了为何在大模型浪潮饱受热议时,李飞飞选择开启首次创业。

  当然,这可能与这位成都女生身上始终的爱智求真追求息息相关。

  在她今年出版的第一本自传《我看见的世界》中,她完完整整讲述了自己从一个成都七中女生辗转美国,一度需要在洗衣店打工补贴家用,最后站上 AI 时代浪潮之巅的过程,解释了始终指引她前行的“北极星”。

  这本传记成为了外界更了解她的一扇窗,同时也看到了更多 AI 复兴前后的趣闻往事,以及,李飞飞背后了不起的中国父亲母亲。

  如果你想了解更多,不妨直接通过《我看见的世界》认识李飞飞。