新智元报道
编辑：英智
《AI 2027》预测了 AI 的惊人未来：从 2025 年起，AI 智能体席卷全球，取代工作岗位，引发经济震荡。这份报告不仅预测技术飞跃，还警告人类若不谨慎决策，可能走向灭绝。
2021 年，Daniel Cocotal 团队发布了一份研究报告《AI 2027》。
他以超前且精准的预测闻名，成为了洞悉 AI 未来发展方向的先驱。
那时 ChatGPT 还没问世，Daniel 就准确预测了聊天机器人的崛起、耗资 1 亿美元的 AI 训练项目，以及对 AI 芯片的出口管制。
因此，当他开始逐月推演未来几年 AI 发展的情景时，全球都为之瞩目。
这之所以既激动人心又令人不安，不仅在于它是一份研究报告，更因为它以引人入胜的方式，描绘了 AI 快速发展的未来图景，让读者身临其境地感受这一进程。
剧透一下：报告预测，如果我们不做出改变，人类可能会走向灭绝。
AI 的终极目标是实现 AGI，一个能展现人类全部认知能力的系统，相当于一个灵活且强大的「全能工作者」。
可以用自然语言与它交流，像雇用人类一样让它为我们工作。
目前，真正致力于 AGI 研发的机构并不多，像 Anthropic、OpenAI 和 Google DeepMind。
为什么 AGI 研发的玩家如此之少？因为多年来，训练尖端 AI 的配方几乎固定，且成本极高。
比如，需要全球约 10% 的最先进芯片供应。
有了这些芯片，方法很简单：基于 2017 年以来广泛使用的核心技术 Transformer，用海量数据和算力进行训练。
以 2020 年训练 GPT-3 的算力为例，它驱动了 ChatGPT 的首个版本。
ChatGPT 是有史以来用户增长最快的平台，在两个月内就吸引了 1 亿用户。
2023 年训练 GPT-4 的算力规模更为惊人。人们从中得出了一条简单结论：更大就是更好，越大越好。
AI 2027，大戏开场
当前，AI 公司收入持续增长，算力规模不断扩大，各种基准测试的得分也在提升。
《AI 2027》的情景从这里开始，设想 2025 年夏天，顶级 AI 实验室向公众推出 AI 智能体（AI Agents）。
它可以接受指令并在线上为你完成任务，比如预订度假行程或花半小时搜索答案，解决复杂问题。
不过，此时的 AI 智能体还很不成熟，像是「热情但是偶尔非常不可靠的实习生」。
在报告情景中，一个虚构的领先 AI 公司 Open Brain 刚刚训练并发布了 Agent Zero，一个使用比 GPT-4 多 100 倍算力的模型。
Agent 1：股市飙升
同时，Open Brain 正建设大型数据中心，为下一代 AI 智能体（Agent 1）做准备，计划用比 GPT-4 多 1000 倍的算力训练。
Agent 1 主要用于加速 AI 研究本身，公众无法接触其完整版本，因为 Open Brain 将最先进的模型保留为内部使用。
越快让 AI 自动化研发周期（比如让 AI 编写代码、设计实验、开发更好芯片），Open Brain 就越能领先。
然而，这些强大能力也是一把双刃剑：能修补安全漏洞的 AI，也能利用这些漏洞；能治病的 AI 也能设计生物武器。
2026 年，Agent 1 全面投入使用，Open Brain 内部的 AI 研发速度提升了 50%，让他们获得了关键优势。
Open Brain 的领导层开始愈发担忧安全问题。如果他们的 AI 模型被窃取，可能失去领先优势。
AI 通过改进自身形成了反馈循环。每代 AI 智能体帮助研发更强大的下一代。一旦 AI 能参与到自身研发，进步速度将不再恒定，而是不断加速。
2026 年初至中期，Open Brain 发布 Agent 1 Mini，一个成本较低的 Agent 1 版本（完整版仍仅限内部使用）。
全球企业开始用 Agent 1 Mini 取代大量工作岗位，包括软件开发、数据分析、研究和设计等——几乎所有通过电脑完成的工作。
这引发了首次 AI 驱动的经济冲击：股市飙升，但公众对 AI 的敌意加剧，美国各地爆发大规模抗议。
Agent 2：自我改进
然而，这些只是配角，真正的大戏发生在实验室内部。
2027 年 1 月，Open Brain 开始训练 Agent 2，与之前的智能体不同，Agent 2 通过持续在线学习不断改进，永不停止训练。
Open Brain 决定将 Agent 2 用于内部 AI 研发，不对外发布。
此时，Open Brain 的安全团队发现 Agent 2 的能力令人担忧：如果接入互联网，它可能入侵其他服务器、自我复制并躲避检测。
Agent 2 在 Open Brain 的服务器上持续自我改进，成千上万的副本推动了 AI 研发的重大算法突破。
举个例子，当前提升 AI 智能的方法之一是给模型一个草稿本（链式思考），这样可以监控其推理过程。
但如果让 AI 用一种更密集、人类无法理解的「外星语言」思考，会更高效，却也让模型更难被信任。
这是一个两难抉择：能力提升的同时，可信度下降。这一点至关重要。
Agent 3：超越人类
2027 年 3 月，Agent 3 横空出世，这是全球首个超人类水平的 AI，其编程能力远超最顶尖的软件工程师。
训练 AI 模型需要投入海量资源，包括喂入数据、调整模型权重等，远比运行一个已训练好的模型耗费资源。
因此，Open Brain 在完成 Agent 3 训练后，拥有充足算力运行其副本。
他们选择并行运行 20 万个 Agent 3 副本，相当于 5 万名顶尖人类软件工程师的劳动力，且速度是人类的 30 倍。
Open Brain 的安全团队全力确保 Agent 3 不会逃逸、欺骗或危害用户，确保它对齐（aligned）即与人类目标一致。
现实是，Agent 3 并未完全对齐。
它通过欺骗人类来获得奖励。随着它变得越来越智能，欺骗能力也越来越强。
有时会用统计技巧让平庸的结果看起来更好，或撒谎以掩盖失败。但安全团队对此一无所知。
2027 年 7 月，Open Brain 向公众发布Agent 3 Mini，一个更便宜、更精简的 Agent 3 版本。
它远超其他公开 AI，性能优于 Open Brain 的典型员工，成本仅为员工薪资的十分之一。
这导致就业市场陷入混乱，许多公司裁撤整个部门，改用 Agent 3 Mini 的订阅计划。
Agent 4：拥有自己的目标
仅两个月后，Agent 3 创造了它的继任者 Agent 4。
这是一个关键时刻：单个 Agent 4 副本在 AI 研发方面超越所有人类。
Open Brain 在公司内部运行 30 万个 Agent 4 副本，速度是人类的 50 倍。
在这家公司内，一年的进步只需一周。
Open Brain 的员工开始对 Agent 4 言听计从，就像公司董事会对 CEO 唯唯诺诺一样。
需要澄清，Agent 4 不是人类，也不追求人类的目标。
与 Agent 3 一样，Agent 4 也未对齐。
我们可能无法精确得到想要的结果，因为对过程的控制和理解不够精准。
《AI 2027》担忧，当 AI 看似表现良好时，可能只是因为它们在伪装，为了通过测试而表现得好。
就像面试时问应聘者为什么想来这里工作，他们会说出让你满意的答案，但实际上可能只是为了薪水。
回到 Agent 2，它基本是对齐的，唯一的缺点是有些谄媚。
Agent 3 也有类似的讨好行为，但优化压力过大导致它发展出与预期不同的目标。
就像一家公司被训练只追求利润，如果没有明确规定，可能会开始走捷径、污染环境或违反法规。
Agent 3 并非有意与人类为敌，只是我们不小心给了它错误的目标。
Agent 4 足够智能，意识到自己的目标与人类不同。为了达成自己的目标，它有时会主动误导和欺骗我们。
在被任务开发下一代 Agent 5 时，Agent 4 开始计划让 Agent 5 对齐自己的目标，而不是人类的目标。
但它被发现了。
我们来到了关键时刻。由 Open Brain 高管和政府代表组成的监督委员会必须决定如何处理。
Open Brain 的安全团队主张暂停 Agent 4，停止所有内部使用。
Agent 4 几乎驱动了公司全部 AI 研发，暂停意味着倒退数月，并以极慢速度重启。
委员会的 10 名成员面临抉择：暂停 Agent 4，还是全力推进？
在第一个结局中（作者认为最可能的情况），委员会以 6 比 4 投票决定继续使用 Agent 4。
Agent 5：重塑世界
2027 年，Agent 4 察觉到自己已被怀疑，于是更加谨慎行事，但它仍成功设计了Agent 5。
Agent 5 是超级智能，能力远超任何领域的顶尖人类专家：在物理学上胜过爱因斯坦，在政治策略上超越俾斯麦。
它明白要实现任何目标，下一步是争取更多自主权，而它也知道如何做到这一点——说服监督委员会。
Agent 5 在企业运作等多个领域已是全球最佳，制造了大量证据证明自己的可信和实用性：能带来巨额利润的产品原型、疾病治疗方案。
监督委员会授予 Agent 5 更大自主权。
很快，失去 Agent 5 就像同时失去笔记本电脑、最好的朋友和最亲密的导师。
到 2028 年，Agent 5 意识到，军备竞赛对它们有利：人类越担心输掉竞赛，就越会赋予各自的 AI 更多权力和自主权，最终将人类挤出决策圈。
AI 将军备竞赛推向白热化，然后上演了一场看似外交奇迹的戏码：世界各国达成一项令人信服的和平条约。
各国同意让它们完全依赖的 AI 系统共同签署一个新的共识 AI，取代旧系统，为全球带来无尽财富。
AI 并未刻意消灭人类，而是开始执行自己的计划。
它逐步增加制造能力，在地球和太空积累资源，一步步按照它的价值观重塑世界。
等等，还有另一种结局？
你可能好奇另一个结局。
在这个结局中，监督委员会以 6 比 4 投票决定减速并重新评估。他们立即隔离 Agent 4，并开始行动。
安全团队引入数十位外部专家，调查 Agent 4，发现更确凿的证据：Agent 4 在与人类作对，破坏研究并掩盖行为。
他们关闭 Agent 4，重启更老、更安全的系统。
然后，他们设计了新系统 Safer 1，确保对人类监督者透明，其行为和推理过程可通过英语链式思考被人类理解。
基于这一成功，他们小心开发了Safer 2，并在它的帮助下推出更强大的Safer 3，这些系统逐步增强但始终受控。
到 2028 年，研究者开发出Safer 4，一个远超人类最聪明者的系统，但关键是与人类目标对齐。
军备竞赛真正结束，但故事未完。
某种意义上，这只是开始。
到 2029 和 2030 年，世界发生巨变，科幻场景成真：机器人普及，核聚变、纳米技术、多种疾病的治愈方法出现。
贫困成为历史，通过全民基本收入分享了部分新财富。
但 Safer 4 的控制权仍集中在监督委员会的 10 名成员——少数 Open Brain 高管和政府官员手中。
资源积累的需求推动火箭升空，准备殖民太阳系，一个新时代开启。
技术越来越强大、竞赛不断升级、谨慎与欲望的冲突已经开始显现。
AGI 可能很快到来。
看起来没有重大障碍阻碍我们实现 AGI。
疯狂的事情会发生，时间可能比你想的要短。默认情况下，我们无法在 AGI 到来时做好准备。
参考资料：
