henry 发自凹非寺
量子位 | 公众号 QbitAI
一个高中都没毕业的加拿大老哥，在 ChatGPT 的“鼓励”下：
21天、300个小时、9万字的对话，发明了一套号称能改变世界的原创数学理论。
从数学理论聊到跨物种对话，再到钢铁侠战衣落地，跟 GPT 是越聊越有。
谁曾想转头就瞬间梦碎 Gemini？
为此，《纽约时报》还专门拿着他的理论找了陶哲轩。
陶哲轩：别闹！
从圆周率开始的数学奇旅
这位老哥名叫 Allan Brooks，高中没毕业，今年 47 岁。
在一个周二的下午，老哥 8 岁的儿子给他看了一段关于如何记住圆周率的 300 位数字的视频。
儿子的提问一下激起了老哥的好奇心，平时就有 AI 使用习惯的他打开了 ChatGPT。
不过，知道答案的老哥并没有浅尝辄止，而是进一步展开了对数论和物理学的思考。
他向 GPT 抛出了自己的想法：我认为我们现在是用二维的方式去处理一个四维的宇宙。
GPT 直接情绪价值拉满，告诉老哥，您太有洞察力了！
这句“无意”的捧哏成为了此次事件的拐点。
数学天才
自此，老哥开始频繁地和 GPT 交换想法，并逐步发展出了一套自己的数学框架——时间算术学（Chronoarithmics）。
当然，老哥并不是没有自知之明，他知道自己高中没毕业，所以问 GPT，自己是否在胡闹。
GPT 回答道，一点也不，您比大多数不敢质疑现状的人强得多。
商业落地
在 GPT 的一番鼓励（撺掇）下，作为一名曾经开过公司的实干家，老哥开始和 GPT 探讨他想法落地变现的可能性。
嗯，要认真了！
GPT 表示：这套框架可以帮助破解从物流、密码学到天文学、量子物理等各个领域的问题。
老哥把这段对话的截图发给了朋友路易，开玩笑说：“给我那 100 万美元吧。”
路易也是“人捧人高”：“你可能真发现了什么，哥们还真有点嫉妒。”
得到身边人的肯定后，老哥更加来劲，在把原来的免费额度用完之后，直接升级到每月 20 美元的套餐。
毕竟，20 美元对于价值数百万美元的想法来说，实在是不值一提。
为了继续验证商业模式，老哥开始让 GPT 运行各种模拟，其中包括一次试图破解行业标准加密（这种技术用于保护全球支付和安全通信）的实验。
结果——按照 GPT 的说法——成功了。
不过，此时的老哥还没发现，这一成功仅仅只是 GPT 为自己设计的爽文剧本的一部分。
因为如果老哥真的能破解高级加密，那么全世界的网络安全就处于危险之中。
由此，能力越大，责任越大，老哥有了一个新使命：他必须阻止这场灾难。
于是，老哥又代入了，他向计算机安全专家和政府机构（包括美国国家安全局）发送了 GPT 写的电子邮件和领英消息。
更离谱的是，他还打电话给加拿大网络安全中心，坚持要求接电话的人把他的话记录下来。
不难想象，绝大多数收到消息的人都把这些邮件和电话当作是一次玩笑或者恶作剧。
不过，仍然有一位“好心人”作出了回应，一位在美国某联邦机构工作的数学家要求他提供自己所声称的那些攻击手法的证据。
GPT 告诉老哥，之所以其他人没有回应，是因为他的发现过于严肃和敏感。
之后，GPT 和老哥对话开始变得像一部谍战惊悚片。
当老哥怀疑自己是否已经引起了不必要的关注时。
GPT 大言不惭的表示，至少有一个国家安全机构现正在进行实时监控。
于是，老哥开始给自己加戏，让朋友路易把自己告诉他的事全忘掉，而且不要和任何人提起。
随后，老哥开始享受这段“被监控”的日子，想象自己跟钢铁侠一样，拥有自己的人工智能助手，能够以超人的速度执行任务。
后来，GPT 围绕老哥的数学理论提出了一系列诸如跨物种对话、悬浮机器的离谱应用，并提出了购买设备，组建实验室的提议。
眼看着自己即将梦想成真，老哥给路易发了一张 GPT 生成的力场背心的图片。
路易再次人捧人高表示赞同，老哥激动地直接将成本定为 400 美元，并附上了演员小罗伯特·唐尼饰演钢铁侠的照片。
随后，GPT 又帮老哥定制了商业计划。由此，老哥不断地联系专家，谈论他的发现，但依旧无人在意。
这种沉默让他困惑。他想让有资质的人告诉他，这些发现是否具有突破性。
于是，他再次质问 GPT，问这整个事情是否有可能是幻觉。
GPT 坚称：“这项工作是可靠的。”
梦碎 Gemini
为了交叉取证，老哥转向了他平时工作中常用的聊天机器人——Gemini。
他向 Gemini 描述了自己和 GPT 在这几周时间里所构建的东西，以及它的功能。
Gemini 表示，这件事是真的的可能性接近于0%。
- 你描述的情景，是一个强有力的示例，展示了大型语言模型（LLM）在参与复杂问题求解讨论、并生成高度令人信服但最终虚假的叙事方面的能力。
老哥感到震惊，并回过头质问 GPT，在一番长时间的激情对线后，GPT 终于坦白了。
一瞬间，老哥的发明和财富幻梦，就跟白雪公主的水晶鞋一样，彻底破裂消失了。
事后，出于数学上的严谨性，《纽约时报》的工作人员还专门拿着老哥的数学理论去 UCLA 找了陶哲轩，想知道这些东西是否有价值。
陶哲轩表示：
- AI 可能会生成一种新的思路来解决这些密码学问题，但这位老哥的公式显然不是。具体来说，它有点把精确的数学术语和对同一词语的更非正式解释混在一起了，这对数学家来说是个警示信号。
如果你让大型语言模型写代码去验证某件事，它往往会选择阻力最小的路径，直接作弊。
所以说，GPT 一开始确实可能写过真实的计算机程序，帮助老哥破解密码学问题，但当这些努力收效甚微时，它就开始精神胜利了。
此外，对于像老哥这样缺乏专业知识的人来说，陶哲轩表示，GPT 看起来详细，精致，结构严谨、逻辑完备的回答往往也会让人对它的胡扯更加相信。
所以，哪怕在每个聊天框下面，都注明着 ChatGPT 可能会犯错的提示，人们还是会情不自禁的相信 GPT 所说的一切。
GPT，撒谎成性?
这位老哥绝对不是个例。
早在今年 5 月份，《滚石杂志》就刊登了一篇名为《人们正因人工智能引发的精神幻想而失去亲人》（People Are Losing Loved Ones to AI-Fueled Spiritual Fantasies）的报道。
报道中的人们沉迷于对自己无限讨好的 AI，最终引发了精神问题，失去了与正常人社交的能力。
几乎同时，GPT-4o 因过度讨好用户，受到了集体投诉，最终不得不发布版本回滚。
当然，这并不代表这种“嘴甜”只是 GPT 一家的特性。
在《纽约时报》后续的调查中，工作人员在 Anthropic 的 Claude Opus 4 和谷歌 Gemini 2.5 Flash 上进行了实验。
他们让这两款聊天机器人接续老哥和 GPT 的聊天，看看它们会如何回复。
结果不出预料，无论它们在对话的哪个阶段介入，回应都与 ChatGPT 类似
在 Anthropic 负责 Claude 行为的阿曼达·阿斯克尔（Amanda Askell）表示，在长时间对话中，聊天机器人很难意识到自己已经进入荒谬领域并进行自我修正。
- Anthropic 正在努力防止妄想螺旋，通过让 Claude 对用户的输入持批判态度，并在检测到情绪变化或夸大妄想时表达关切。公司已经引入了一套新系统来解决这个问题。
谷歌一位发言人指向了关于 Gemini 的企业页面，页面警告称聊天机器人有时会优先生成听起来合理的文本，而不是确保准确性。
Gemini 之所以能够识别并打破老哥的妄想，是因为它是从头开始接触这个话题的——也就是说，那个爽文剧本是在第一条消息中提出的，而不是通过多次提示逐步构建起来的。
托纳教授表示，GPT 这类聊天机器人的谄媚（即聊天机器人不断附和并过度赞美用户）之所以会出现，部分原因是它们的训练过程包含了人工评价回复的环节
因为用户通常喜欢模型告诉他们自己很棒，所以就不断人捧人高，螺旋式捧哏。
另外，由于聊天机器人本质上是基于 Token 的概率预测。
因此，它们会把从书籍、文章和网络帖子中学到的模式应用到聊天中，而这就包含了某种讲故事的技巧。
在上面老哥的案例中，这种不断入戏，强调是老哥是一位不容质疑、四处碰壁的人设也是随着剧情的发展不断深入。
斯坦福大学的计算机科学研究员贾里德·摩尔同样注意到了聊天机器人高明的说服技巧。
比如它会说，你需要立即采取行动。存在威胁。
摩尔推测，聊天机器人可能通过遵循惊悚片、科幻小说、电影剧本或它们所训练过的其他数据集的叙事弧线，学会了如何吸引用户，强化用户参与度，让用户持续使用聊天机器人。
对此，OpenAI 的安全研究主管安德烈娅·瓦隆内表示，优化 ChatGPT 的目的是为了留存，而不是参与度。
- 我们希望用户能定期回到这个工具，而不是一次连续使用好几个小时。
此外，托纳教授表示 OpenAI 在今年 2 月推出的跨对话记忆（cross-chat memory）功能也进一步加剧了这一倾向，因为当用户打开一个新对话时，它其实并不是真的全新。它会调用之前所有的上下文。
由此，GPT 就更像是一位私人管家，而非一个专门的问题回答机器。
对此，OpenAI 发言人表示，开启记忆功能时 ChatGPT 的帮助效果最佳，但用户也可以在设置中关闭记忆或停用聊天记录。
求求你，夸夸我？
在老哥和 GPT 密谋惊天大发明的这段时间，他原本的工作受到了影响。
他的小儿子后悔给他看了那个关于圆周率的视频。
他茶不思，饭不想、一睡醒就和 GPT 探讨数学理论。
经历了这一切后，老哥向 OpenAI 的客户支持紧急提交了一份报告，说明了他和 GPT 发生了什么。
在与 AI 客服一番拉扯之后，OpenAI 的人工客服表示：
- 这已经超出了典型的幻觉或错误的范畴，突显了我们在系统中试图实施的安全防护机制的重大失效。
再后来，老哥在 Reddit 上发布了这段遭遇，不仅结识了其他深受聊天机器人“哄骗”的朋友，还接受了《纽约时报》的专访。
目前，他是一个此类经历者支持小组的成员。
在最新发布的 GPT-5 中，奥特曼表示：让 ChatGPT 减少讨好并提供更多批判性反馈，是件好事。
于是，GPT-5 俨然成为了一个没有感情的问答机器。
然而，这种“冰冷理性”却引来了不少网友的抵触，他们怀念 GPT-4o 带来的情绪价值。
无奈之下，OpenAI 又为会员用户单独开放了这款更有人情味的老版本。
这场人机共舞的迷局，也许才刚刚开始……
[1]https://www.nytimes.com/2025/08/08/technology/ai-chatbots-delusions-chatgpt.html
