1600代码造出水下曼哈顿, Fable 5让Karpathy看呆了

  新智元报道

  Fable 5 重新上线,Arena.ai 的 Gostev 在一段视频中甩出 63 个 3D 世界,几乎都是一次成型。看了视频,就连刚加盟 Anthropic 预训练团队的 Karpathy,也直呼没想到。

  一头熊站在河边,一口咬住跃起的鲑鱼。

  鱼在它嘴里拼命挣扎。

  这个画面,直接把 Andrej Karpathy 看呆了。

  他看完这一组 3D 视频后,在推文中说:

  太不可思议了,我之前没意识到模型竟然能创造出如此精彩、丰富且可玩的世界。

  还撂下一个新词:fablemaxxing。

  这太美了,属于顶级的 fablemaxxing!每一个新的模型层级,总会有一些全新的东西在质上实现飞跃并带来惊喜。

  Karpathy 今年 5 月刚加盟 Anthropic,加入的正是预训练团队。

  6 月,Fable 5 首发,三天后被美国出口管制一纸叫停,7 月 1 日刚解禁。视频作者,是 AI 评测平台 Arena.ai 的 Peter Gostev。

  他用 Fable 5 一口气跑了 63 个高难度 3D 生成,几乎全是三维图形库(Three.js),多数一次成型。

  一个多月前,想让 AI 一次成型造出能走进去玩的 3D 世界,还近乎天方夜谭。如今,Fable 5 一口气能搓出 63 个。

  于是,Gostev 不由在视频中感慨:连实验室里的人,都还没完全搞清它能干什么。

  1600 行代码

  一座活着的水下曼哈顿

  先说视频中最令人印象深刻的那个。

  整座曼哈顿沉在水下。中央公园、摩天楼、街道纹理,细节丰富到让人难以置信。

  Gostev 翻出代码一看:1600 行。就这 1600 行,撑起了一座活着的水下之城。

  Fable 5 生成的曼哈顿,从 Battery 到 Inwood 整座岛尽收眼底,几万栋楼各有轮廓,全部由 1600 行代码撑起。(图源:Peter Gostev 视频)

  这样的世界,Gostev 一共做了 63 个,分成 6 大主题。

  在巨型 3D 世界里,横跨欧亚两岸的伊斯坦布尔、2000 年变迁的伦敦、宏伟的金字塔、庞贝火山喷发、车流穿行的金门大桥,一一被搭了出来;

  Fable 5 一次成型的伊斯坦布尔,横跨欧亚、层叠入海。(图源:Peter Gostev 视频)

  Fable 5 生成的可食用王国,一座糖果做的巧克力工厂。(图源:Peter Gostev 视频)

  能上手玩的场景,有纽约屋顶跑酷、把整座城拆着玩的物理游乐场、仪表盘一应俱全的飞行模拟。

  最让人不可思议的,是走进世界名画。梵高星空、莫奈睡莲,一幅幅铺成可以穿行的 3D 世界。

  还有一类是不可能的视角:一毫米高的蚂蚁在雨里打量花园,一睁眼就撞见一座金山。

  Fable 5 把视角压到一毫米高,草叶长成高耸的山峰。(图源:Peter Gostev 视频)

  自然奇观里,尼亚加拉大瀑布、萤火虫同步闪烁的森林,那条让 Karpathy 震撼的熊吃鲑鱼,就在此类。

  最后,是元素与宇宙,被劈开的红海、正在诞生的火山岛、直插云霄的太空电梯。

  Fable 5 生成的红海从中劈开,人走进两道水墙之间。(图源:Peter Gostev 视频)

  在 Gostev 看来,单一场景好不好看,从来不是难点。难的是模型能不能同时管住海量元素,让它们彼此协调。

  弱一点的模型,往往前 80% 做得像模像样,最后 20% 全线崩掉,剩下的 debug 时间反而更长。

  你没法照抄一幅画

  它得先看懂

  如果说造城市还算有逻辑可依,那下面这批画,才是让 Gostev 一连说了好几个「难以置信」的。

  梵高的《星空》。

  你没法照抄这样一幅画,满画布厚颜料堆叠,一道道笔触卷成漩涡。

  Fable 5 的做法,是用一根根独立的线条,在三维空间里重新拼出那片星空,再让你飞进去,在漩涡之间穿行。

  Fable 5 把梵高《星空》拆成一根根立体线条,在三维空间里重拼,让你飞进旋动的星群与漩涡之间。(图源:Peter Gostev 视频)

  莫奈的睡莲、葛饰北斋的浪花,同样被「打开」成可以漫游的世界。

  在 Gostev 看来,Fable 这次特别擅长把一件事讲明白,能一边演示一边说清事情怎么运作。这种解释力,是他之前没料到的。

  当然,这些世界并非「一句话」变出来的。

  Gostev 喂给模型的,是又长又细的规格文档,多数案例一次成型,也有一部分做了一到两轮微调。

  真正的分水岭在于:过去要十几轮才磨得出的东西,现在一个 HTML 文件,多数一次就跑出来了。

  魔法背后

  也有短板

  Gostev 坦言,自己这批案例是筛过的。他生成的总量比展示的多出约两成,剔掉了有明显 bug 的,才留下这 63 个。

  游戏,是它的弱项。

  他坦言那几个能玩的场景,「玩 30 秒就腻」。有个罗马帝国的版本,他嫌太卡通。

  更微妙的是,他觉得模型有时候像在偷懒、藏着实力,得反复催它更有野心,才肯拿出真本事。

  Fable 5 上线时,就在 Arena.ai 自家的 Agent Arena 榜上以史上最大优势登顶。

  Arena.ai 官方称,这份榜单衡量的,是模型在数百万次真实任务里真正把事干成的能力。

  这场探索

  才刚刚开始

  再回到视频中那条狗熊捉鲑鱼的场景。

  让 Karpathy 感到奇怪的是,鱼被咬住会挣扎,这样一个没人要求的细节,一个只从互联网学习的大模型,怎么就知道了这些?

  知道了,又怎么把这份理解,翻译成 xyz 坐标、网格、变换、动画、效果、交互,乃至一个个微型故事?

  这个问题,已经越过了「AI 画得好不好」,落到了「它到底懂了多少」。

  Karpathy 还感慨道:再往上加一到三个模型层级,能造出什么,真是不敢想。

  Gostev 同样也惊叹于 AI 的快速发展,「别被半年前的模型框住了。你或许不在乎 3D,但你手上一定有件事,是过去的模型干不了、而今天的它能干的。去试。」

  连造模型的人,都还没摸到它的边界。

  这场探索,才刚刚开始。

  参考资料:

  https://github.com/petergpt/3d-prompt-collection#prompt-01

  https://x.com/karpathy/status/2073505440479293773

  https://www.youtube.com/watch?v=rTc2_-1KuRE&t=14s

  编辑:元宇