新智元报道
编辑：Aeneas 昕朋
2022 年有哪些人工智能的突破？今天，李飞飞高徒 Jim Fan 盘点了年度十大 AI 亮点。
人工智能的爆炸正在扭曲我们的时间感。
你能相信 Stable Diffusion 只有 4 个月大，而 ChatGPT 的出现还不到一个月吗？
打个形象的比喻，只要眨一下眼，你就会错过一个全新的行业。
2022 年的 AI 领域，大规模的生成模型像雨后春笋一样地冒出，改变了整个 AI 界的格局。
而且，这些模型正在迅速走出实验室，在现实中被应用。
比如，LLM 技术就启发了两个新兴的领域——决策代理（游戏、机器人等等）和 AI4Science。
李飞飞高徒 Jim Fan 为我们总结了 2022 年的十大 AI 高光时刻。让我们把时间倒转，看看 2022 年都有哪些令人惊叹的 AI 突破。
一、文字-图像生成
DALLE-2 是第一个可以从任意标题生成逼真的高分辨率图像的大规模扩散模型。
它启动了 AI 的艺术革命，催生了许多新的应用程序、初创公司和思维方式。
但 DALLE-2 被保护在 OpenAI 的围墙后面，并没有开源。
在 OpenAI 之后，LMU 的 StabilityAI 和 runwayml 迈出了英勇的一步，基于「潜在扩散」算法训练了他们自己的互联网规模的 text2image 模型。他们称该模型为「稳定扩散」，并开源了代码和权值（weighs）。
事实证明，Stable Diffusion 的开放性，让它给游戏带来了巨变。
现在，许多初创公司和研究实验室都在 Stable Diffusion 的基础上创建新的应用程序，Stable Diffusion 本身也被开源社区不断改进。
最近，Stable Diffusion 已经达到了 v2.1 版本，可以在单个 GPU 上运行了。
另外，今年还有来自 GoogleAI 的两个 image2text 模型。GoogleAI 既没有发布模型也没有发布 API，但从论文中，我们仍然可以看到不少有趣的见解。
Imagen
https://imagen.research.google
Parti
https://parti.research.google。它是一个没有 diffusion 的 Transformer 模型。
二、文字-文字生成
大家都知道，我说的是 ChatGPT!
这是历史上唯一一个在 5 天内就获得了 100 万用户的应用程序。
ChatGPT 也大大启发了我们人类的创造力。
在这个列表中，可以看到所有有用的和有想象力的关于 ChatGPT 想法：https://github.com/f/awesome-chat
ChatGPT 和 GPT-3.5 都使用了一种叫做 RLHF（「从人类反馈中强化学习」）的新技术。
这也就意味着，提示工程或许很快就会消失了。
ChatGPT 的流行，已经催生了一波新的创业公司和竞争者，比如 Jasper Chat、YouChat、 Replit 的 Ghostwriter chat，以及 perplexity_ai 。
这些竞争者提供了如此直观的搜索方式，连谷歌的高管们都开始出汗了!
三、文本- 机器人模型
如何给 GPT 提供胳膊和腿，让它们能打扫你混乱的厨房？
与 NLP 不同，机器人模型需要与物理世界互动。
在今年，大的预训练 Transformer 终于开始解决机器人领域最难的问题了!
VIMA
10 月，我和同事创建了一个 「机器人 GPT 」——名为 VIMA 的 tranformer。
它可以接收任何混合的文本、图像和视频作为 prompt，并输出机器人手臂的控制。
我们的模型被称为 VIMA（「VisuoMotor Attention」），已经完全开源了。
现在，单个智能体已经能够解决视觉目标、视频的一次性模仿、新概念基础、视觉约束等，具有了模型容量和数据的强大扩展性。
RT-1
沿着与 VIMA 类似的路径，来自 GoogleAI 的研究人员发布了 RT-1，这是一种在 700 项任务和 130K 的人类演示上训练的机器人 transformer。
这些数据是由 13 个机器人在 17 个月内收集的，是字面意义上的钢铁部队！
四、文本 - 视频
本质上说，视频就是随着时间的推移捆绑在一起的一系列图像，给我们创造了运动的错觉。
如果我们可以做 text2image，那为什么不在里面加上时间轴，来获得额外的乐趣呢？
目前，文本 - 视频领域有 3 个重大的工作，但没有一个是开源的。
Make-A-Video
首先是 Meta AI 的 Make-A-Video：不需要成对的文本-视频数据，就可以得到文本-视频的生成。
您可以在此处注册试用访问权限：https://makeavevideo.studio
论文链接：https://arxiv.org/abs/2209.14792
Imagen Video
Google AI 的 Imagen Video：它能使用扩散模型生成高清视频，基于 Imagen 静态图像生成器。
演示：http://imagen.research.google/video/
论文链接：https://arxiv.org/abs/2210.02303
Phenaki
来自谷歌 AI 的 Phenaki: 从开放领域的文本描述中生成可变长度的视频。
演示：https://phenaki.video
论文链接：https://arxiv.org/abs/2210.02399
五、文本-3D 建模
从设计创新产品到在电影和游戏中创造奇妙的视觉效果，3D 建模正成为文本-X 生成模型的下一片蓝海。
令人惊喜的是，2022 年出现了许多卓有前途的 3D 生成模型。在此，Fan 列举了 3 个模型。
DreamFusion
首先登场的，是 Google AI 研究团队与 UC Berkeley 联合开发的 DreamFusion。
论文链接：https://arxiv.org/pdf/2209.14988.pdf
该模型使用二维文本到图像的扩散模型来执行文本到三维的合成。
基于 NeRF 算法，DreamFusion 可以通过给定文本生成 3D 模型。
该模型可以从任何角度查看，在任意照明下可以重新点亮，还可以合成到任何三维环境当中。
Magic3D
第二项成果，是英伟达 AI 团队的两个项目，名为 GET3D 和 Magic3D。
GET3D 论文链接：https://nv-tlabs.github.io/GET3D/assets/paper.pdf
Magic3D 论文链接：https://arxiv.org/pdf/2211.10440.pdf
GET3D 仅使用二维图像进行训练，可生成具有高保真纹理和复杂几何细节的三维图形。
该模型允许用户立即将其形体导入 3D 渲染器和游戏引擎，以便进行后续编辑。
Magic3D 与 DreamFusion 类似，使用文本到图像模型生成 2D 图像，然后优化为体积 NeRF（神经辐射场）数据，将低分辨率生成的粗略模型优化为高分辨率的精细模型。
根据英伟达 AI 团队，由此产生的 Magic3D 方法，可以比 DreamFusion 更快地生成 3D 目标。
Point-E
继年初推出的 DALL-E 2 用天才画笔惊艳所有人之后，周二 OpenAI 发布了最新的图像生成模型「POINT-E」，它可通过文本直接生成 3D 模型。
论文链接：https://arxiv.org/pdf/2212.08751.pdf
相比竞争对手们（如谷歌的 DreamFusion）需要几个 GPU 工作数个小时，POINT-E 只需单个 GPU 便可在几分钟内生成 3D 图像。
根据测试，Prompt 输入后 POINT-E 基本可以秒出 3D 图像，此外输出图像还支持自定义编辑、保存等功能。
六、会玩《我的世界》的 AI
《我的世界》是一款测试 AI 通用智能的绝佳游戏。首先，它是一款无限开放的沙盒游戏，极度体现玩家的创造力。
其次，该游戏有 1.4 亿的玩家群体，是英国总人口的两倍。用户基础如此庞大，供 AI 学习的游戏数据可谓是源源不绝。
那么，AI 能否和人类一样尽情挥洒想象力呢？
Jim Fan 和同事合作开发了第一个玩《我的世界》的 AI「MineDojo」，它可以在自然语言提示下解决许多任务。
论文链接：https://arxiv.org/pdf/2206.08853.pdf
Fan 的最终目标是建立一个「具身的 ChatGPT」。目前，MineDojo 平台已经完全开源。
与此同时，Jeff Clune 的团队宣布了一个名为视频预训练（VPT）的模型，该模型可以直接输出键盘和鼠标的动作。
论文链接：https://arxiv.org/pdf/2206.11795.pdf
VPT 拥有更广阔的视野，但不受语言条件的限制。在这点上，MineDojo 和 VPT 恰好相辅相成。
七、AI 外交官
Meta AI 推出的 CICERO 是第一个在《外交》游戏中实现人类水平表现的人工智能智能体。
论文链接：https://www.science.org/doi/10.1126/science.ade9097
《外交》是一款七人制经典策略游戏，可以说是棋盘游戏 Risk、纸牌游戏扑克和电视节目 Survivor 的结合。该游戏需要广泛的自然语言协商才能与人类合作和竞争。
然而，CICERO 的出现表明，人工智能现在已经有说服他人和虚张声势的能力。
目前，DeepMind 也宣布开发自己的外交官 AI 智能体。那么，如果 CICERO 使用这个 AI 模型，又会发生什么呢？
八、音频-文本模型
Whisper 是 OpenAI 发布的一个大型开源语音识别模型，在英语语音识别方面有接近人类水平的鲁棒性和准确性。
论文链接：https://arxiv.org/pdf/2212.04356.pdf
Whisper 经过了来自网络的 680，000 小时音频数据的训练。Open AI 强调，Whisper 的语音识别能力已达到人类水准。
Open AI 将 Whisper 开源，是否是为了解锁更多文本 token，用以训练万众瞩目的 GPT-4 呢？
九、核聚变
DeepMind 与瑞士洛桑联邦理工学院（EPFL）联合开发了第一个核聚变相关的深度强化学习系统，可以保持核聚变等离子体在托卡马克内的稳定。
论文链接：https://www.nature.com/articles/s41586-021-04301-9
同样在本月，美国能源部宣布了一项巨大的突破：人类首次实现了核聚变反应的净能量增益！
这是人类首次实现这一里程碑。这一生，我们或许会成为聚变文明！
十、应用于生物学的 Transformer
2021 年，AlphaFold 开启了语言模型预测蛋白质 3D 结构的序幕。
7 月，DeepMind 宣布了「蛋白质宇宙」——将 AlphaFold 的蛋白质数据库扩展到 2 亿个结构！
此外，英伟达 AI 研究团队还拓展了 BioNeMo 大型语言模型的框架，以帮助生物技术公司和研究人员生成、预测和理解生物分子数据。
视频讲解：https://www.youtube.com/watch?v=PWcNlRI00jo&t=4399s
以上便是 Jim Fan 对 2022 年十大 AI 亮点的盘点。当然，Fan 也表示，还有无数令人兴奋的作品为人工智能的进步做出了贡献。
每篇论文都是 AI 大厦里的一砖一瓦，所有的努力都应该庆祝。
不过，Fan 在最后也强调，随着人工智能系统变得越来越强大，我们必须意识到潜在的危险和风险，并采取措施减轻它们。
无论是通过仔细的培训设计、适当的监督还是全新的保障方法，人工智能的安全与伦理成为越来越的 AI 专家所讨论的议程。
毫无疑问，2022 年是充满奇迹的一年，也是令人惊叹的一年。未来一年又会有什么震惊世界的突破？我们与你一起关注。
参考资料：
https://twitter.com/drjimfan/status/1607746957753057280?s=46&t=OVM_4zdRW2rQwqLohMdPpw
