新智元报道
来源：智源社区
作者：牛梦琳，李梦佳
编辑：Aeneas
ChatGPT 的横空出世万众瞩目，但我们不应忘记在它背后默默无闻的天才——OpenAI 的联合创始人和首席科学家 Ilya Sutskever。
ChatGPT 的横空出世万众瞩目，但我们不应忘记在它背后默默无闻的天才。Ilya Sutskever 是 OpenAI 的联合创始人和首席科学家。正是在他的领导下，OpenAI 在开发尖端技术和推动人工智能领域的发展方面取得了重大进展。
在这篇文章中，我们将探讨二十年间，Sutskever 是如何从一个年轻的研究人员一步步走到人工智能领域的领导人物之一的。无论你是人工智能爱好者，还是研究人员，或者仅仅是对这一领域的内部运作感到好奇的人，这篇文章都会提供宝贵的观点和信息。
本文遵循以下时间线：
2003: Ilya Sutskever 的拜师之旅
2011: 初识 AGI
2012: 图像识别的革命
2013: 将 DNNresearch 拍卖给谷歌
2014: 语言翻译的革命
2015: 从谷歌到 OpenAI：人工智能的新篇章
2018: GPT 1、2 和3
2021: 开发 DALL-E 1
2022 年：向世界揭开 ChatGPT 的面纱
Ilya Sutskever
OpenAI 的联合创始人和首席科学家，2005 年毕业于多伦多大学，2012 年获得 CS 博士学位。2012 年至今，他曾先后就职于斯坦福大学，DNNResearch，Google Brain，从事机器学习与深度学习的相关研究，并于 2015 年放弃谷歌的高薪职位，与 Greg Brockman 等人联合创建了 OpenAI，在 OpenAI 主导了 GPT-1，2，3 以及 DALLE 系列模型的研发。2022 年，他入选英国皇家科学学会院士。他是人工智能领域的先驱，在塑造人工智能的当前格局方面发挥了重要作用，并在继续推动机器学习的可能性的界限。他对人工智能的热情让他的开创性研究熠熠生辉，也由此塑造了深度学习和机器学习领域的发展历程。
2003:对 Ilya Sutskever 的初印象
Sutskever：我不理解， Hinton ： 为什么不理解 ，S utskever： 人们训练神经网络来解决问题，当人们想解决不同问题时，就得用另外的神经网络重新开始训练。 但我认为人们应该有一个能够解决所有问题的神经网络。
在多伦多大学读本科时，Sutskever 想加入 Geoffrey Hinton 教授的深度学习实验室。于是，他在某一天直接敲开了 Hinton 教授办公室的门，询问自己是否可以加入实验室。教授让他提前预约，但 Sutskever 不想再浪费时间，所以他立即问："就现在怎么样？"
Hinton 意识到 Sutskever 是一个敏锐的学生，于是给了他两篇论文让他阅读。一周后，Sutskever 回到教授办公室，然后告诉教授他不理解。
“为什么不理解？”教授问。
Sutskever 解释说：“人们训练神经网络来解决问题，当人们想解决不同问题时，就得用另外的神经网络重新开始训练。但我认为人们应该有一个能够解决所有问题的神经网络。"
这段话展示了 Sutskever 得出结论的独特能力，而这种能力即使是有经验的研究人员也需要花费数年时间才能找到，Hinton 于是向他发出邀请，希望他加入自己的实验室。
2011: 初识 AGI
Sutskever：我不认同这个想法（AGI）
Sutskever 还在多伦多大学时，曾飞到伦敦去 DeepMind 找工作。在那里他见到了 Demis Hassabis 和 Shane Legg（DeepMind 的联合创始人），他们正在建立 AGI（Artificial General Intelligence，人工通用智能）。AGI 是一种通用的人工智能，它能够像人类一样思考和推理，并完成与人类智能相关的各种任务，如理解自然语言，从经验中学习，做出决定，以及解决问题。
在当时，AGI 并不是严肃的研究人员会谈论的东西。Sutskever 也认为他们已经与现实脱节，所以他拒绝了这份工作，回到了大学，最终于 2013 年加入了谷歌。
2012: 图像识别革命
ImageNet 竞赛中获胜
Geoffrey Hinton 慧眼独具，在其他人都不相信的时候相信了深度学习。并且他坚信，在 ImageNet 竞赛中获得成功就会彻底解决这一争论。
ImageNet 竞赛：斯坦福大学的实验室每年都会举办 ImageNet 竞赛。他们为参赛者提供了一个由精心标记的照片组成的庞大数据库，来自世界各地的研究人员都会来参加比赛，尝试创建一个能够识别最多的图像的系统。
Hinton 的两个学生，伊利亚-苏茨克沃（Ilya Sutskever）和亚历克斯-克里切夫斯基（Alex Krizhevsky）参加了这个比赛。他们打破了传统的手工设计方案，采用了深度神经网络，并突破了 75% 的准确率大关。因此他们赢得了 ImageNet 竞赛，他们的系统后来被命名为 AlexNet。
从那时起，图像识别领域焕然一新。
后来，Sutskever、Krizhevsky 和 Hinton 发表了一篇关于 AlexNet 的论文，这篇论文成为计算机科学领域被引用次数最多的论文之一，总共被其他研究人员引用了 6 万多次。
2013: 将 DNNresearch 拍卖给谷歌
Sutskever&Krizhevsky：您值得更大比例的分红。 Hinton： 你们分我的钱太多了。 Sutskever&Krizhevsky：但我们已经决定好了，让您占大头。 Hinton： 这体现了他们的人品 。
Hinton 与 Sutskever，Krizhevsky 一起，成立了一家名为 DNNresearch 的新公司。他们没有任何产品，也没有在未来打造任何产品的计划。
Hinton 问律师，如何让他的新公司具有最大的价值，尽管目前只有三名员工，既没有产品，也没有底蕴。律师给他的选择之一是设立一个拍卖会。有四家公司参与了收购：百度、谷歌、微软和 DeepMind（当时还是一家年轻的起步于伦敦的创业公司）。第一个退出的是 DeepMind，其次是微软，最后只剩下百度和谷歌在竞争。
到某天晚上接近午夜时分，拍卖价格高达 4400 万美元，Hinton 于是暂停了竞标并且去睡了一觉。第二天，他宣布拍卖结束，并以 4400 万美元将他的公司卖给了谷歌，他认为为他的研究找到合适的“家”更重要。在这一点上，Hinton 和他的学生们一样，把他们的想法置于经济利益之上。
平分收益的时候，Sutskever 和 Krizhevsky 坚持认为 Hinton 应该得到更大的份额（40%），尽管 Hinton 建议他们不如先睡一觉。第二天，他们仍然坚持这种分配方式。Hinton 后来评论说：“这能体现他们的为人，而非我的”。
在这之后，Sutskever 成为了谷歌大脑的研究科学家，他的想法产生了更大的变化，并开始与 DeepMind 创始人的想法逐渐一致。他开始相信，属于 AGI 的未来就在眼前。当然，Sutskever 本人也从不畏惧在面对新信息或经验时改变主意。毕竟相信 AGI 需要的是信仰之跃， 正如谢尔盖-莱文（Sergey Levine，Sutskever 在谷歌的同事）对 Sutskever 的评价：“他是一个不害怕‘相信’的人。”
2014: 语言翻译的革命
Sutskever：正确的结论是，如果你有一个非常大的数据集和一个非常庞大的神经网络，那么取得成功是必然的。（性能最优的翻译器）
在收购了 DNNResearch 之后，谷歌聘请 Sutskever 为谷歌大脑的研究科学家。
在谷歌工作期间，Sutskever 发明了一种神经网络的变体，能将英语翻译成法语。他提出了 “序列到序列学习”（Sequence to Sequence Learning），它能捕捉到输入的序列结构（如英语的句子），并将其映射到同样具有序列结构的输出（如法语的句子）。
他说，研究人员本不相信神经网络可以做翻译，所以当它们真的能翻译时，这就是一个很大的惊喜。他的发明击败了表现最好的翻译器，为谷歌翻译提供了重大升级。语言翻译从此变得不一样了。
2015: 从谷歌到 OpenAI：人工智能的新篇章
Sam Altman 和 Greg Brockman 将 Sutskever 和其他 9 名研究人员聚集在一起，尝试是否还有可能与该领域最优秀的人才组成一个研究实验室。当讨论到这个将成为 OpenAI 的实验室时，Sutskever 意识到他找到了一群志同道合的人，他们与他的信念和愿望相同。
Brockman 向这 10 位研究人员发出了加入他的实验室的邀请，并给他们三周的时间来决定。谷歌知道这件事后，向 Sutskever 提供了一笔可观的金额来加入他们。被拒绝后，谷歌将他们的薪资提高到第一年近 200 万美元，这是 OpenAI 要付给他的两三倍。
但 Sutskever 还是愉快地放弃了谷歌数百万美元的工作机会，最终成为非营利组织 OpenAI 的联合创始人。
OpenAI 的目标是利用人工智能造福全人类，以负责任的方式推进人工智能。
2018: 开发 GPT 1, 2 & 3
Sutskever 领导 OpenAI 发明了 GPT-1，随后发展到 GPT-2、GPT-3 和 ChatGPT。
GPT（Generative Pre-trained Transformer）模型是一系列基于神经网络的语言模型。GPT 模型的每一次更新换代，都是自然语言处理领域的突破性进展。
-
GPT-1（2018 年）： 这是该系列的第一个模型，是在一个大规模的互联网文本数据集上训练的。它的关键创新之一是使用无监督的预训练，在这种情况下，模型学习根据前面的单词的上下文来预测句子中的单词。这使得该模型能够学习语言结构，并生成类似人类的文本。
-
GPT-2（2019 年）： 在 GPT-1 的成功基础上，它在一个更大的数据集上进行了训练，产生了一个更强大的模型。GPT-2 的主要进步之一是它能够就广泛的主题生成连贯和流畅的文本段落，这使它成为了无监督语言理解和生成任务的关键角色。
-
GPT-3（2020 年）： GPT-3 在规模和性能上都是一个实质性的飞跃。它是在一个大规模的数据集上训练的，使用了 1750 亿个参数，比以前的模型大得多。GPT-3 在广泛的语言任务上取得了最先进的性能，如问题回答、机器翻译和总结，具有接近人类的能力。它还显示了执行简单的编码任务、编写连贯的新闻文章、甚至生成诗歌的能力。
-
GPT-4：预计很快就会出现，预计就在 2023 年。
2021: 开发 DALL-E 1
Sutskever 还领导 OpenAI 发明了 DALL-E 1，这是一个由 AI 驱动的图像生成模型。它使用了与 GPT 模型类似的架构和训练过程，但被应用于图像的生成，而非文本。
今天许多主要的图像生成器--DALL-E 2、MidJourney--都归功于 DALL-E 1，因为它们基于相同的变换器架构，并在类似的图像数据集和相关文字说明上进行训练。此外，DALL-E 2 和 MidJourney 都是基于 DALL-E 1 的微调过程。
2022 年：向世界揭开 ChatGPT 的面纱
2022 年 11 月 30 日，Sutskever 帮忙推出了 ChatGPT，这引起了大众的广泛关注，并在短短 5 天内就发展到 100 万用户。
ChatGPT 的工作方式是在大量的文本数据集上预先训练一个深度神经网络，然后在特定的任务上对其进行微调，如回答问题或生成文本。它是一个基于 GPT-3 语言模型的对话式人工智能系统。
理解对话的背景并产生适当的反应是 ChatGPT 的主要功能之一。该机器人会记住你的对话线索，并根据以前的问题和答案作出后续回应。与其他聊天机器人不同的是，这些机器人通常仅限于预编程的反应，而 ChatGPT 可以在应用中产生反应，使其能够进行更加动态和多样化的对话。
Elon Musk 是 OpenAI 的创始人之一，他说：“ChatGPT 优秀得可怕。我们离危险的强大人工智能不远了”。
尾注
Ilya Sutskever 对人工智能的热情推动了他的突破性研究，改变了该领域的进程。他在深度学习和机器学习方面的工作对推进技术水平和塑造该领域的未来方向起到了重要作用。
我们也亲身见证了 Sutskever 在人工智能领域工作的影响。他已经改变了该领域的进程，并将继续在这个方向努力。尽管多次面对物质上的诱惑，Sutskever 还是选择了追求他的激情，专注于他的研究；他对工作的奉献对任何研究人员来说都是堪称典范。
如今我们已经见证了 Sutskever 对我们这个世界的影响。很显然，这仅仅是个开始。
参考资料：
