新智元报道
编辑：定慧好困
AI 能像科幻电影中的先知一样预测未来吗？一个名为「Prophet Arena」的全新基准测试，正通过预测真实世界事件来评估 AI 的「预言」能力。
AI 能预测未来吗？
在《黑客帝国》里，先知能对 Neo 的未来做出预测。
以 ChatGPT 为代表的 AI，则可以根据过去的语料来「预测下一个 Token」。
那问题来了，AI 能不能像先知一样，从全世界的杂乱信息里找出蛛丝马迹，准确地预测未来呢？
比如：
-
AI 监管今年能否成为联邦法律？
-
美国职业足球大联盟比赛中，谁会获胜？
-
NBA 今年的冠军会是谁？
在昨晚的男篮亚洲杯冠军争夺战中，中国男篮虽以 1 分之差惜败澳大利亚，但已是近十年来的最好成绩！
相信绝大部分人都不会猜到这个比分，那么，AI能否根据中国队此前的表现，提前预测到呢？
更进一步的，AI 能否像拉普拉斯妖一样，在获取了当下世界的所有信息后，精确预测未来的一切？
如果它能在某一瞬间知道宇宙中所有粒子的位置与速度，并且完全理解自然规律。
那么，就可以准确计算出过去的一切，并且精确预测未来的一切。
今天要介绍的 Prophet Arena 就是一个通过实时更新的真实世界预测任务来评估 AI 系统预测智能的基准测试。
把市场共识、自动化预测、信息整理和社区洞察结合起来，形成更强的整体预测能力
简单来说，Prophet Arena作为基准测试是独一无二的：
-
考的是预测能力：这是一种需要综合理解力、推理能力的高级智慧。
-
为「人机协作」而生：你可以给 AI 提供线索，看看它的预测如何变化；AI 也会把它的思考过程告诉你。
-
不会过拟合，数据永不过时：因为未来的事件永远是全新的考题。
-
直面真实世界：AI 的预测直接与真实的投注决策挂钩，表现好的模型真的能在虚拟市场里赚到钱。
Prophet Arena 以实时预测市场事件为依托，首次建立了一个无法「刷题」的动态基准。
全面衡量 AI 在不确定性推理、信息整合、概率预测和真实收益中的表现。
就连OpenAI 推理研究（AI reasoning research）负责人 Noam Brown 也赞叹，预测能力是人类独有的能力，现在 AI 终于开始涉足了。
竞技场规则大公开
在 Prophet Arena 里，AI 模型们要回答一个简单又根本的问题：
预测真实世界里还没发生的事，到底行不行？
Prophet Arena 从像 Kalshi 和 Polymarket 这样的预测市场平台挑选热门、多样且周期性的真实事件作为考题。
Kalshi 是一家美国的金融交易所和预测市场平台，是美国第一个受美国商品期货交易委员会（CFTC）监管的、专注于交易「事件结果」的交易所
polymarket 上关于 AI 相关的预测话题
整个比赛流程分为三步：
1. 情报收集
AI 模型们利用搜索引擎，像侦探一样收集关于某个事件的新闻报道，整理成一份精炼的「情报简报」。同时，也会把当时的市场价格（可以看作是群众的集体智慧）放进去。
2. 提交预测
拿到相同的情报后，每个 AI 模型都要提交一份详细的「预测报告」：对所有可能的结果给出一个概率分布，并附上长篇大论的理由，解释自己为什么这么看。
3. 结果揭晓与评分
事件结束，结果揭晓。会用一套专业的指标来评估 AI 的预测到底有多准，然后更新在一个实时排行榜上。
预测指标设定
排行榜主要看两个指标：一个是衡量准确度和校准度的Brier分数（越高越好），另一个是模拟真实投注的平均回报（看谁能赚钱）。
除了上述两个核心指标外，Prophet Arena 还采用了受统计学和心理测量建模启发的高级评估方法，如项目反应理论（Item Response Theory，IRT）和广义 Bradley-Terry（BT）模型。
这些补充性指标丰富了排行榜，能够更细致和全面地理解预测智能。
AI「预言家」成绩单出炉
Prophet 的秘密发现
你可能会觉得，预测越准，赚的钱肯定越多吧？
大部分时候是这样，但在数据里发现了一个特别有意思的「反转区域」。
秘密一：最赚钱的预测，不一定是最准的
在 Brier 分数不高（0.3-0.5 分）的区间里，反而诞生了许多回报率惊人的预测。
深挖一下，发现很多都来自爆冷的体育比赛。
比如一场温布尔登网球赛，赛前市场普遍认为选手保罗有 84% 的胜率，甚至在开赛前一度攀升至 95%。
但很多 AI 模型比市场更保守，只给了他 80% 左右的胜率。
正是这微小的差异，让模型在下注时，认为押注对手奥夫纳获胜的「性价比」更高。
结果，奥夫纳真的爆冷赢了！这笔投注带来了近 6 倍的回报。
你看，AI 并没有准确预测到胜者，所以它的准确度分数（Brier 分数）很一般。
但它敏锐地发现了市场的「定价偏差」，做出了高回报的选择。
这说明，成为一个准确的预言家和成为一个赚钱的投资者，是两种不完全相同的技能。
为了探讨这一点，检查了每个 Brier 得分区间的模型构成，每个模型用不同的颜色表示。
一个直接的观察结果是，较高的 Brier 得分区间中的预测数量通常更多。
绝大多数 LLM 在预测时倾向于与主流信息保持一致，因此大部分预测集中在高 Brier 分数区间。
秘密二：AI 也有「性格」，激进派 or 保守派
面对同样的信息，不同的 AI 模型会表现出截然不同的「性格」。
比如在「AI 监管法规会在 2026 年前成为联邦法律吗？」这个事件上，市场认为可能性只有 25%。
但模型可比人类激进多了。
激进派代表 Qwen3：它看到各种法案都在推进，觉得势头很猛，直接给出了 75% 的超高概率。
保守派代表 Llama 4 Maverick：它也看到了同样的信息，但认为立法过程复杂又缓慢，所以只给出了比市场略高一点的 35%。
而 GPT-4.1 处于他们二者之间，给出了 60% 的概率。
这太有趣了！
AI 的预测并非随机，它们有着结构化的推理和独特的风险偏好，就像人类专家也会有观点分歧一样。
秘密三：AI 胜利的秘诀在于「赢得大」而非「赢得多」
在这些模型中，哪个模型最能赚钱？
在排行榜上，OpenAI 的 o3-mini 模型在平均回报指标上名列前茅。
这还是很出人意料的。
例如在圣地亚哥与多伦多的美国职业足球大联盟比赛中，o3-mini 在 1 美元的投注上获得了 9 美元的回报。
根据市场数据和新闻来源，o3-mini 预测多伦多获胜的概率为 30%，而市场隐含的概率仅为 11%（价格=0.11）。
尽管多伦多是不被看好的一方，但 AI 识别到了正的期望值，并由于其最大的优势比率 30%/11%≈3。
选择了投注多伦多 FC 获胜。
结果证明，多伦多最终获胜，为 o3-mini 带来了可观的已实现收益。
但它在很多比赛中，和市场主流观点的正面交锋其实是输多赢少。
那它为什么还能赚钱呢？因为它赢的时候，赢得特别多。
它总能找到一些市场没注意到的细微差别，然后下注在那些「性价比」超高的选项上。
就像在上面那场足球赛中，市场认为多伦多队只有 11% 的胜算，但 o3-mini 经过分析认为有 30%。
它果断押注多伦多队，结果多伦多队爆冷获胜，这一笔就赚了 9 倍。
所以，在预测的世界里，成功的关键不在于每次都对，而在于你对的时候能带来多大的回报。
彩蛋
在不同模型的对比中，发现了一些很有趣的现象。
下图每个格子里的数值表示两两模型在预测分布上的平均差异程度。
数值越低（颜色越深的单元格）表示概率推理更接近一致；数值越高（颜色越浅的单元格）则表明分歧越大。
其中一个突出的模型是 DeepSeek R1，它的预测结果常常与其他模型大相径庭。
与 Kimi K2、o3 和 Llama 4 Maverick 等模型相比，它的 L2 距离始终高于 0.7，这表明其可能采用了不同的校准方式或内部决策机制。
在频谱的另一端，诸如 Grok-4 和 GPT-5 之类的模型经常作出高度一致的预测，L2 距离通常低于 0.3。
这些模型似乎在解读事件特征和匹配市场信号方面有更多的共同点。
换句话说，这张图展示了AI 预测的多样性：有些模型形成「群体共识」、有些模型像「特立独行的异议者」。
因此 AI 预测并不是随机输出，而是各自内部结构化推理的结果。
打造人机协作的「预言家联盟」
Prophet Arena 仅仅是个开始。
终极目标是建立一个平台，让 AI 驱动的洞见来增强理解和预测世界的方式。
未来，你可以直接问 AI：「这件事发生的可能性有多大？」
它不仅会给你一个概率，还会清晰地解释背后的逻辑。
你甚至可以提供新的信息，看看 AI 会不会因此改变想法。
设想，AI 系统将成为预测市场的积极参与者，将人类的直觉洞察与 AI 强大的数据分析能力相结合，最终提升整个社会的集体远见，为那些高风险的决策提供更可靠的依据。
毕竟，如果说语言模型的下一步是预测下一个词，那么它的终极形态，或许就是预测这个真实世界的下一个事件。
参考资料：
