他「二本」出身,数学很差:最终成了 PyTorch 之父、Meta副总裁

  来源:机器之心

  如果你正有放弃的念头,你一定要读读这篇从未被公开分享过的故事,关于 PyTorch 创造者、Meta 前副总裁 Soumith Chintala 的故事。

Image

  原文地址:https://www.linkedin.com/feed/update/urn:li:activity:7394574468834091008/

  你或许没听说过苏米特・钦塔拉 (Soumith Chintala) 这个名字,但如果你比较了解人工智能领域,肯定知道 PyTorch。对于 AI 来说,它就像写文章用 Word,P 图用 Photoshop 一样,是最流行的开发工具。Soumith 就是 PyTorch 的创造者。

  有趣的是,这位大神并不像 AI 领域多见的那样出身名校,从小就奥数拿牌 —— 恰恰相反,他的「特长」是数学不好,当年还因此而进不了名校。

  近日,一篇关于 Soumith 的长文在技术圈悄然流传,作者是风险投资公司 Menlo Ventures 合伙人 Deedy Das。文章没有讲 Soumith 光鲜头衔与成就,而是把重点对准了他一路走来的坎坷、挣扎与不被看好的那些年。

Image

  接下来我们看看文章内容:

  Soumith 来自印度一所公立学校,他的成绩算不错,但数学不好这件事一直像影子一样伴随着他。在大学入学考试中,他没能进入印度的一流大学,而是去了被认为是二线院校的韦洛尔理工学院(VIT)。

  在大学期间,他努力补足自己的短板。等到准备出国深造时,最终在 GRE 中拿下了 1420 的高分,这在当时已经是非常亮眼的成绩。

  然而现实却毫不留情,他向 12 所美国大学递交了硕士申请,却全部被拒。

  后来,Soumith 形容那段时间的自己,只有一句话能概括:管他呢(fuckit.jpg)。于是,他还是咬牙踏上了旅途,拿着一张 J-1 签证去了美国的卡内基梅隆大学(CMU),没有明确计划,也没有稳妥的未来,只想着:先去再说。

  到了美国之后,他依旧没有放弃对未来的期待。尽管上一轮申请全军覆没,但他仍决定再试一次,他再次申请硕士,这一次把申请范围扩大到 15 所学校,几乎把所有可能的机会都抓在手里。

  然而结果并不好,15 所学校中,除了南加州大学,其余全部拒绝了他;直到后来,纽约大学才在 2010 年给了他一份候补名额。

Image

  也正是在纽约大学,他遇到了 Yann LeCun ,当时 LeCun 不出名,还没拿到图灵奖。谁都没想到,这次相遇会成为他人生轨迹上最关键的转折点之一。也是在这里,他开始接触开源。

  毕业后,他几乎把能投的公司都投了,却依然被一一拒绝,其中包括 DeepMind。他唯一拿到的工作机会,是在亚马逊做一名测试工程师。

  后来,在他彷徨迷茫的时候,博士导师伸出了援手,帮他进入了一家名叫 MuseAmi 的小型创业公司。

Image

  离开那家公司后,他再次向 DeepMind 投出简历,满怀希望地等待回复,却又一次被拒之门外。

  期间,因为签证的问题,他面临着比职业挫折更棘手的现实困境。J-1 的限制随时可能让他前功尽弃。他只能一遍遍地补交资料、写情况说明。好在最终,经过漫长的等待与反复沟通,他总算拿到了豁免,得以留在美国继续走下去。

  那时的他,信心跌到谷底。

  可即便如此,他还是咬着牙往前走。2011 到 2012 年间,他凭着那点不愿放弃的倔强,硬生生做出了当时手机上最快的 AI 推理引擎之一。

  然而,他带着这份成绩再次去敲 DeepMind 的门时,得到的依旧是拒绝。可没想到的是,正是在这种几乎要放弃的阶段,他的人生开始悄悄酝酿转折。

  他鼓起勇气,给 Yann LeCun 写了一封邮件,向这位曾经给予过指点的前辈汇报自己的近况。LeCun 看到他在 Torch 7 开源社区的贡献后,邀请他加入刚成立不久的 Facebook AI Research(FAIR)。

Image

  加入 FAIR 后,他却发现现实一点都不轻松。连新人训练营都差点没挺过去,一个 HBase 的任务硬是把他卡得怀疑人生。

  但很快,他抓住了关键机会。当时,连 Facebook 的 L8/L9 资深工程师都无法让 ImageNet 训练跑通,模型怎么调都不稳定。整个团队被这个问题困住了。而他这个刚来的 L4 工程师,却凭着反复推敲代码、逐项分析参数,硬是从细枝末节里找出了数值精度和超参数的深层问题。那一刻,他终于迎来了人生中的第一次真正意义上的大胜利。

  接下来,在 FAIR,他的表现越来越稳,逐渐站稳脚跟,后来带着一个三人小团队继续维护 Torch7,并最终与团队一起创造出了 PyTorch。当时谁也没料到,这个项目会在几年后成为全球研究者和开发者最喜爱的深度学习框架。

  然而,事业刚有起色,一场内部政策风暴差点让一切终止。Meta 管理层想砍掉 PyTorch。得到这个消息后,他在酒吧里大哭了一场。

  幸运的是,一些真正懂技术价值的人站出来力保 PyTorch。项目最终被保留下来,并在 2017 年顺利发布。后来,他也顺利拿到了 EB-1 绿卡,真正意义上站稳了脚跟。

  在之后的几年里,PyTorch 越走越稳,社区越做越大,他的事业看似也达到了顶峰。但正如他一路走来的选择一样,他从不把自己框在舒适区里。

  他开始意识到自己的下一段旅程,或许不应该再局限于 PyTorch。于是,在外界看来最风光、最稳定的时候,他做出了一个出人意料的决定:离开 Meta,重新开始,做一些小而未知的事。

  通过这段经历,我们不难发现在整整 12 年(2005–2017)的失败、碰壁和反复挣扎之后,Soumith 最终成为 Meta 的副总裁,成为 AI 领域最具影响力的人之一!

  Soumith 的故事,是关于韧性与不屈的故事。他证明了一件事:无论你现在多么低谷,只要不放弃,仍然有希望。

  对于上述经历,我们看看 Soumith 自己是如何评价的。

Image

  Soumith 在回复 Deedy Das 的文章中,也透露了其他细节,并感谢一路帮助过他的人:

  以上这些都是真的。我也很感谢一路上遇到的导师们。同时我也明白,自己能做出这么多艰难选择,是因为某种程度上有条件承担这些风险,说到底我挺幸运的。

  我在 NYU 的导师是当时还是博士生的 Pierre Sermanet,他是我认识的最善良的人之一。

  Yann LeCun 在我没有任何 AI 出路的时候,给了我两次机会。

  我是在 Praveen Garimella 的推动下,才去 IIIT 做了最后一年的项目;而在被硕士项目集体拒绝后,他又劝我不要放弃,让我哪怕没有明确计划也大胆去往 CMU。他的建议改变了我的人生。

  还要感谢我的父亲和母亲,他们愿意让我疯狂一把,甚至愿意在超出家庭经济能力的情况下支持我。我成长于一个再典型不过的中产家庭,家里负债不少,尽管我父母在 2010 年后最终实现了财务独立。但即便如此,他们仍愿意让我走一条并不稳定、也不划算的道路,这是真正伟大的父母。

  感谢 Deedy Das 花时间把这些细节整理出来。

  我相信,每一个站在成功舞台上的人,都有过无数挣扎。人生从来不容易。

  最后,Soumith 还纠正了一个小小的错误,拒绝他的不止 DeepMind ,加上 Google,一共是 3 次被拒。

  如果你正处在低谷,希望你能从 Soumith 的故事里获得一点力量。

  不仅对于 AI,还是很多其他领域来说,热情、自主性、品味和韧性往往比学校的名气更重要。

Image

  如今,Soumith 即将离开 Meta,迈向新的旅程。经历过那么多跌宕与重来,他的下一步,会带来什么样的突破,大家可以期待一下。