新智元报道
AI 的丧钟，敲响了！
比尔·盖茨公开抛出重磅炸弹：怀有恶意者一旦使用最新 AI 工具，已完全具备引发「十亿人死亡」灾难事件的能力。
这位曾经最坚定的科技乐观派，彻底变调，高呼企业自律已经破产，AI 必须由政府强制接管！
同一天，教皇良十四世在出访法国的首日，当着法国总统马克龙的面厉声警告：「机器天堂」正在疯狂侵蚀人类的日常生活，如果失去伦理约束，人类将彻底丢掉人性。
科技界与宗教界达成空前共识，这标志着什么？
这是 AI 安全议题跳出实验室、演变为迫在眉睫的全球政治与生存危机的转折点
比尔·盖茨：「十亿人死亡」倒计时
马斯克警告 AI 风险，大家或许还觉得带有某种「钢铁侠式」的科幻夸张。
但当比尔·盖茨——这个把一生都奉献给代码、坚信技术能拯救世界的极客老炮儿——开始描绘末日图景时，所有人都必须倒吸一口凉气了。
在 NBC《与媒体见面》主持人 Kristen Welker 的专访中，盖茨抛出了一个让全球科技圈震动的论断：「人工智能当然已经强大到足以引发导致十亿人死亡的事件。」
「十亿人」这个数字，是微软创始人基于对当前顶尖大模型能力的真实评估给出的
史上最强武器：当「坏人」遇上「最新 AI」
盖茨一针见血地指出了当前 AI 发展的最大盲区：我们总在假设使用者是好人。
「从来没有哪种武器，比心怀恶意的人加上最新 AI 工具更强大。」盖茨警告道。
试想一下，如果一个恐怖分子或者极端组织掌握了最新的生成式 AI，会发生什么？
生物风险、网络瘫痪、社会撕裂都有可能带来人类灾难。
过去，研制超级病毒需要顶尖的 P4 实验室和数十年的跨学科专家积累。
现在，一个懂基础生物学的疯子，可能只需向未加限制的 AI 输入指令，就能获得绕过现有疫苗的致命病原体基因序列。
AI 可以在几秒钟内发现全球关键基础设施（如电网、核电站、金融结算系统）的零日漏洞，并发起自动化的高频攻击。
利用深度伪造（Deepfake）技术生成完美的视频，可能以假乱真，引发不可挽回的误判。
梵蒂冈 AI 顾问 Paolo Benanti 的对比则更加令人毛骨悚然：
核武器的威力在于它能从物理上毁灭人类；而生成式 AI 操纵社交媒体内容的威力，则在于它能彻底摧毁人们共同生活的能力。
当真假不再有界限，当认知被算法精准操控，社会将四分五裂，不用核弹爆炸，人类的文明就会在无休止的内斗与猜忌中走向终结。
盖茨口中的「十亿人死亡」，绝非危言耸听，而是基于「恶意者+无限算力=无限破坏力」的恐怖方程。
「企业自律完全靠不住，必须强制监管！」
在这个问题上，盖茨毫不留情地扯下了硅谷巨头们的遮羞布。
长久以来，OpenAI、谷歌、Meta 等巨头总是标榜「我们有红队测试」、「我们有安全对齐机制」、「我们能自我监管」。
「没人认为自我监管就够了。」盖茨直言不讳。
他强烈呼吁，执法部门和政界必须立即下场，参与制定安全护栏和监测机制，而且他用了一个极其沉重的词：「强制性」。
这意味着，盖茨认为现有的「道德呼吁」和「行业准则」在巨大的商业利益和军备竞赛面前，不过是一张废纸。没有国家机器的强制介入，AI 的失控只是时间问题。
冰火两重天：一个月内两次拉警报的盖茨
盖茨目前的态度，呈现出一种极其矛盾又极度清醒的状态。
就在 8 月 26 日，他刚在个人博客 Gates Notes 发表长文，悲观地表示：按照目前的路线和速度，AI 带来「净负面结果」的可能性非常高。
他直接点名了失控的四大灾难：大面积失业、网络安全崩溃、生物恐怖主义危机以及 AI 本身的失控。
然而，不到一个月后的 9 月 14 日，盖茨基金会又宣布，将在两年内投入 10 亿美元，把 AI 应用到教育、医疗等普惠场景中。
一边砸 10 亿美元用 AI 救人，一边警告 AI 可能杀掉 10 亿人。
这种撕裂感，恰恰是当前人类在 ASI 前夜最真实的写照——我们深知手里握着的是普罗米修斯的火种，但同时也明白，这火种一旦倾覆，就是焚烧世界的地狱烈焰。
教皇痛批「机器天堂」陷阱
特朗普力推「超级智能」
如果说比尔·盖茨看到的是肉体的毁灭，那么在地球的另一端，精神领袖教皇良十四世看到的，则是人类灵魂的崩塌。
同在 9 月 25 日，良十四世在访问法国的第一天，就将炮火猛烈对准了 AI。
在法国总统府爱丽舍宫，面对马克龙，教皇没有寒暄套话，而是直接抛出了一个极其尖锐的观点：「机器天堂」正在侵入并左右人们的日常生活。
什么是「机器天堂」？
那就是一个算法替你思考、替你决策、替你感受的世界。在这个天堂里，人类看似获得了极大的便利，实则正在让渡作为「人」的最核心特质——自由意志与伦理判断力。
教皇急切地呼吁，要想不在这种技术乌托邦中丢掉人性，当下最急需的不是编程教育，而是「伦理判断力的教育」 。一旦人类习惯了让 AI 来判断对错，人类社会的道德大厦将瞬间崩塌。
随后，在位于巴黎的联合国教科文组织 UNESCO 总部，教皇点破了一个让所有科技从业者汗颜的悖论：
计算系统被傲慢地称作「智能」，而活生生的人，却被按照效率来衡量价值，一旦没用了就被像垃圾一样抛弃。
这句话直击当前 AI 浪潮的最痛点。
特朗普突发禁令，全美封杀「人工智能」
与此同时，9 月 22 日，在纽约联合国大会的讲台上，美国总统抛出了一个令人错愕的决定——
他下令美国政府所有官方文件，从此废除「人工智能」（AI）这一称呼，全面改用「超级智能」（Super Intelligence，简称 SI）。
一时间，所有人都懵了。
理由：「人工」听起来太假了
特朗普给出的理由，非常「懂王」。
他认为，「人工」这个词让人觉得这项技术是「假的」，「它根本不假，它实际上非常惊人！」
「但我们必须小心，它的真实能力与『人工』这个词所声称的恰恰相反。」
你以为他只是在台上随便说说？绝对不是。
美联社拿得的一封内部邮件显示，就在特朗普发表演讲的当天，美国国务院国际组织局副助理国务卿 Michael Drager 已经火速向所有外交官下达了「死命令」：
主题：关于 AI 更名为 SI 的命名变更。根据总统今天的讲话，请在我们的文件和立场中，将所有提到『人工智能』的地方改为『超级智能』。未来在所有讲话、立场和新闻元素中，我们都将使用『SI』。
美国首席技术官伊桑·克莱因更是表示：「『超级智能（SI）总统』已经发话了！美国现在是，未来也将继续是 SI 领域的全球领导者！」
就在特朗普强推「超级智能」的同时，美国正面临着前所未有的撕裂。
在字典里，「超级智能」代表着超越人类的智慧。对许多前沿 AI 公司的员工来说，这代表着人类的末日。
Jacob Coxon 等人发出预警：「AI 可能在十年内成为对人类构成生存威胁的存在，它可能很快就会毁灭人类！」
面对这种「末日警告」，特朗普的回应只有两个字：「骗局」。
他将这些科学家的担忧斥为危言耸听的骗局，并坚持认为只要政府在必要时「控制局面」就足够了。
但这也彻底激怒了部分美国政客。独立参议员 Bernie Sanders 和民主党众议员 Greg Casar 本周提出激进法案：要求永久禁止开发人类无法控制的 AI，并在实施严格的测试和监督之前，全面暂停高级 AI 的开发！
「科学家们已经说得很清楚了：AI 是人类生存的威胁！」Sanders 大声疾呼，「我们在为时已晚之前，现在就采取行动！」
一边是呼吁立刻踩下刹车的立法者与科学家，一边是死死踩住油门的总统。
我们看到的是科技发展到临界点时，人类社会所展现出的巨大狂热与极度恐惧。
站在深渊的边缘
从盖茨的「十亿人死亡警告」，到教皇的「机器天堂痛批」，很显然，我们已站在分水岭上。
科技乐观派收起了笑容，上帝的使者敲响了警钟。
我们正站在人类历史上最诡异的十字路口：向左，是 AI 带来的医疗突破、能源无限和星辰大海；向右，是基因武器、失控战争和文明的灰飞烟灭。
正如教皇所言，当机器被称为「智能」时，请不要忘记人类的尊严。当算力碾压一切时，我们更需要守住生而为人的底线。
这一次，留给人类打补丁的时间，真的不多了。
参考资料：
https://theprint.in/world/for-pope-leo-the-risk-of-an-ai-apocalypse-is-a-major-concern/3052148/
https://www.gatesnotes.com/a-turbulent-ai-era-and-critical-choices-to-make
编辑：Aeneas 大卫
