新智元报道
编辑:Aeneas 好困
2022 年,计算机领域发生了哪些大事?Quanta Magazine 的年终盘点来了。
2022 年,计算机领域发生很多划时代的大事。
在今年,计算机科学家学会了完美传输秘密,Transformer 的进步神速,在 AI 的帮助下,数十年历史的算法被大大改进……
2022 年计算机大事件
现在,计算机科学家能解决的问题,范围是越来越广了,因此,他们的工作也越来越跨学科。
今年,许多计算机科学领域的成果,还助力了其他科学家和数学家。
比如密码学问题,这涉及了整个互联网的安全。
密码学的背后,往往是复杂的数学问题。曾经有一种非常有前途的新密码方案,被认为足以抵御来自量子计算机的攻击,然而,这个方案被「两条椭圆曲线的乘积及其与阿贝尔曲面的关系」这个数学问题推翻了。
以单向函数的形式出现的一组不同的数学关系,将告诉密码学家是否有真正安全的代码。
计算机科学,尤其是量子计算,与物理学也有很大的重叠。
今年理论计算机科学的一件大事,就是科学家证明了 NLTS 猜想。
这个猜想告诉我们,粒子之间幽灵般的量子纠缠,并不像物理学家曾经想象的那样微妙。
这不仅影响了对我们对物理世界的理解,也影响了纠缠所带来的无数密码学的可能性。
另外,人工智能一直与生物学相得益彰——事实上,生物学领域就是从人脑中汲取灵感,人脑也许是最终极的计算机。
长久以来,计算机科学家和神经科学家都希望了解大脑的工作原理,创造出类脑的人工智能,但这些似乎一直是白日梦。
但不可思议的是,Transformer 神经网络似乎可以像大脑一样处理信息。每当我们多了解一些 Transformer 的工作原理,就更了解大脑一些,反之亦然。
或许这就是为什么 Transformer 在语言处理和图像分类上如此出色的原因。
甚至,AI 还可以帮我们创造更好的 AI,新的超网络(hypernetworks)可以帮助研究人员以更低的成本、用更快的速度训练神经网络,还能帮到其他领域的科学家。
Top1:量子纠缠的答案
量子纠缠是一种将遥远的粒子紧密联系起来的特性,可以肯定的是,一个完全纠缠的系统是无法被完全描述的。
不过物理学家认为,那些接近完全纠缠的系统会更容易描述。但计算机科学家则认为,这些系统同样不可能被计算出来,而这就是量子 PCP(概率可检测证明,Probabilistically Checkable Proof)猜想。
为了帮助证明量子 PCP 理论,科学家们提出了一个更简单的假设,被称为「非低能平凡态」(NLTS)猜想。
今年 6 月,来自哈佛大学、伦敦大学学院和加州大学伯克利分校对三位计算机科学家,在一篇论文中首次实现了 NLTS 猜想的证明。
论文地址:https://arxiv.org/abs/2206.13228
这意味着存在可在更高的温度下保持纠缠态的量子系统,同时也表明,即使远离低温等极端情况,纠缠粒子系统仍然难以分析,难以计算基态能量。
物理学家们很惊讶,因为这意味着纠缠不一定像他们想象的那样脆弱,而计算机科学家们很高兴离证明一个被称为量子 PCP(概率可检测证明)定理的证明又近了一步。
今年 10 月,研究人员成功地将三个粒子在相当远的距离上纠缠在一起,加强了量子加密的可能性。
Top2:改变 AI 的理解方式
在过去的五年里,Transformer 彻底改变了 AI 处理信息的方式。
在 2017 年,Transformer 首次出现在一篇论文中。
人们开发 Transformer,是为了理解和生成语言。它可以实时处理输入数据中的每一个元素,让它们具有「大局观」。
与其他采取零散方法的语言网络相比,这种「大局观」让 Transformer 的速度和准确性大大提高。
这也使得它具有不可思议的通用性,其他的 AI 的研究人员,也把 Transformer 应用于自己的领域。
他们已经发现,应用同样的原理,可以用来升级图像分类和同时处理多种数据的工具。
论文地址:https://arxiv.org/abs/2010.11929
Transformers 迅速成为专注于分析和预测文本的单词识别等应用程序的领跑者。它引发了一波工具浪潮,例如 OpenAI 的 GPT-3,它训练数千亿个单词并生成一致的新文本,达到令人不安的程度。
不过,跟非 Transformer 模型相比,这些好处是以 Transformer 更多的训练量为代价的。
这些人脸是由基于 Transformer 的网络,在对超过 20 万张名人面孔的数据集进行训练后创建的
在今年 3 月,研究 Transformer 工作原理的研究人员发现,它之所以如此强大,部分原因是它将更大的意义附加到词语上的能力,而不是简单的记忆模式。
事实上,Transformer 的适应性如此之强,神经科学家已经开始用基于 Transformer 的网络对人脑功能进行建模。
这表明人工智能和人类智能之间,或许是一体同源的。
Top3:破解后量子加密算法
量子计算的出现,让很多原本需要消耗超大计算量的问题都得到了解决,而经典加密算法的安全性也因此受到了威胁。于是,学界便提出了后量子密码的概念,来抵抗量子计算机的破解。
作为备受期待的加密算法,SIKE(Supersingular Isogeny Key Encapsulation)是一种利用椭圆曲线作为定理的加密算法。
然而就在今年 7 月,两位来自比利时鲁汶大学的研究人员发现,这个算法可以在短短 1 个小时内,用一台 10 年「高龄」的台式计算机被成功破解。
值得注意的是,研究人员从纯数学的角度来解决这个问题,攻击算法设计的核心,而不是任何潜在的代码漏洞。
论文地址:https://eprint.iacr.org/2022/975
对此,研究人员表示,只有当你能证明「单向函数」的存在时,才有可能创建一个可证明的安全代码,也就是一个永远不可能失败的代码。
虽然现在仍然不知道它们是否存在,但研究人员认为,这个问题等同于另一个叫做 Kolmogorov 复杂性的问题。只有当某一版本的 Kolmogorov 复杂性难以计算时,单向函数和真正的密码学才有可能。
Top4:用 AI 训练 AI
近年来,人工神经网络的模式识别技能,为人工智能领域注入了活力。
但在一个网络开始工作之前,研究人员必须首先训练它。
这个训练过程可能会持续数月,需要大量数据,在这个过程中,需要对潜在的数十亿个参数进行微调。
现在,研究人员有了一个新的想法——让机器替他们来做这件事。
这种新型「超网络」叫做 GHN-2,它能够处理和吐出其他网络。
论文链接:https://arxiv.org/abs/2110.13100
它的速度很快,能够分析任何指定的网络,并迅速提供一组参数值,这些参数值和以传统方式训练的网络中的参数,一样有效。
尽管 GHN-2 提供的参数可能不是最佳的,但它仍然提供了一个更理想的起点,减少了全面训练所需的时间和数据。
通过在给定的图像数据集和我们的 DEEPNETS-1M 架构数据集上预测的参数进行反向传播训练
今年夏天,Quanta 杂志还研究了另一种帮助机器学习的新方法——具身人工智能。
它允许算法从响应迅速的三维环境中学习,而不是通过静态图像或抽象数据。
无论是探索模拟世界的代理,还是真实世界中的机器人,这些系统拥有从根本上不同的学习方式,而且在许多情况下,这些方式比使用传统方法训练的系统更好。
Top5:算法的改进
提高基础计算算法的效率一直都是学界热点,因为它会影响大量计算的整体速度,从而对智能计算领域产生多米诺骨牌式的效应。
今年 10 月,DeepMind 团队在发表于 Nature 上的论文中,提出了第一个用于为矩阵乘法等基本计算任务发现新颖、高效、正确算法的 AI 系统——AlphaTensor。
它的出现,为一个 50 年来的悬而未决的数学问题找到了新答案:找到两个矩阵相乘的最快方法。
矩阵乘法,作为矩阵变换的基础运算之一,是是许多计算任务的核心组成部分。其中涵盖了计算机图形、数字通信、神经网络训练和科学计算等等,而 AlphaTensor 发现的算法可以使这些领域的计算效率大大提升。
论文地址:https://www.nature.com/articles/s41586-022-05172-4
今年 3 月,由六位计算机科学家组成的团队提出了一种「快得离谱」的算法,让计算机最古老的「最大流问题」获得了突破性的进展。
新算法可在「几乎线性」的时间内解决这个问题,也就是说,其运行时间基本与记录网络细节所需的时间正比。
论文地址:https://arxiv.org/abs/2203.00671v2
最大流问题是一种组合最优化问题,讨论的是如何充分利用装置的能力使得运输的流量最大,进而取得最好的效果。
在日常生活中,它在很多方面都有应用,如互联网数据流、航空公司调度,甚至包含将求职者与空缺职位进行匹配等等。
作为论文的作者之一,来自耶鲁大学的 Daniel Spielman 表示,「我原本坚信,这个问题不可能存在如此高效的算法。」
Top6:分享信息的新途径
普林斯顿大学的理论计算机科学家 Mark Braverman,花了一生中超过四分之一的时间,来研究交互式通信的新理论。
他的工作使研究人员能够对「信息」和「知识」等术语进行量化,这不仅使人们在理论上对互动有了更多的了解,而且还创造了新的技术,使交流更加高效和准确。
Braverman 最喜欢在办公室的沙发上思考量化的难题
由于他的这一成就,以及其他成果,国际数学联盟今年 7 月授予 Braverman IMU Abacus 奖章,这是理论计算机科学领域的最高荣誉之一。
IMU 的颁奖词指出,Braverman 对信息复杂性的贡献,使人们更深入地了解了当两方相互沟通时,信息成本的不同衡量标准。
他的工作为不易受传输错误影响的新编码策略,以及在传输和操作过程中压缩数据的新方法,铺平了道路。
信息复杂性问题,来自于 Claude Shannon 的开拓性工作——在 1948 年,他为一个人通过通道向另一个人发送消息,制定了数学框架。
而 Braverman 最大的贡献在于,建立了一个广泛的框架,该框架阐明了描述交互式通信边界的通用规则——这些规则提出了在通过算法在线发送数据时,压缩和保护数据的新策略。
论文地址:https://arxiv.org/abs/1106.3595
「交互式压缩」问题可以这么理解:如果两个人交换一百万条短信,但只学习1,000 位信息,交换是否可以压缩为1,000 位守恒?
Braverman 和 Rao 的研究表明,答案是否定的。
而 Braverman 不仅破解了这些问题,他还引入了一种新的视角,使研究人员能够首先阐明它们,然后将它们翻译成数学的正式语言。
他的理论为探索这些问题和确定可能出现在未来技术中的新通信协议,奠定了基础。
参考资料:
https://www.quantamagazine.org/the-biggest-discoveries-in-computer-science-in-2022-20221221/