3DGen 发自凹非寺
量子位公众号 QbitAI
3D 生成也有自个儿的人工评测竞技场了～
来自复旦大学和上海 AI lab 的研究人员搞了个 3DGen-Arena，和大语言模型的 Chatbot-Arena、GenAI-Arena 等一脉相承，要让大伙儿对 3D 生成模型来一场公开、匿名的评测。
3DGen-Arena 同样是让两个模型进行比较，分文生 3D、图生 3D 两个赛道。
展示形式上考虑到 3D 生成的复杂性，3DGen-Arena 同时提供 3D 资产的法线图、无纹理几何图和贴纹理 RGB 图的 360°环绕视频。
投票方式很简单。
第一步点击“Sample”选择 prompt（共有 1000+ 条），第二步点击“Send”让模型生成，第三步分别从几何合理性、几何精细度、纹理质量、几何-纹理一致性、文本/图像-3D 一致性这 5 个维度上对模型投票，投完票就能看到背后模型的真面目了。
目前场上已有 19 个开源 3D 生成模型，其中 9 个文生 3D 模型，13 个图生 3D 模型。
除匿名投票外，3DGen-Arena 还支持参与者与指定模型进行比较，以及与单个模型交互。
已开赛，来 pick
近两年，得益于 Diffusion 模型在 2D 领域取得的巨大成功，以及 Objaverse 系列大规模 3D 数据集的开源，3D 物体生成领域已经进入迅速发展阶段，3D 生成模型数量激增。
然鹅，如何科学、公平地评价这些模型成为了领域内公认的难题。
目前已有的 3D 评测指标大多沿用了 2D 领域的范式。其中，Clip 系列模型表现出的强大图文对齐能力使得基于 Clip 的方法尤为受欢迎，如 Clip-Similarity、Clip R-Precision 等。
但由于 2D 和 3D 领域间存在不容忽视的域差异（domain gap），这类不具备 3D 先验知识的 2D 指标，在实际应用中，常常并不能满足人们的需要。
例如，3D 工作者们关心的几何合理性、3D 一致性、纹理伪影等等关键问题，2D 指标远远无法达到令人满意表征水平。
于是，目前工作中更具可信度的评价大多来自于定性的用户评价（user-study），但缺少一个统一、多样的 prompt 集，使得不同模型间的 user-study 并不那么容易对齐。
最近，因大语言模型以及多模态大模型表现出的优异性能，出现了一些基于大模型问答的 3D 评测体系。但此类依赖黑盒模型的评测系统，可能会引入一些潜在的系统性误差，而且不具备好的可解释性。
3D 生成评测是一项不适定问题（ill-posed problem），需要综合考虑几何质量、纹理质量、以及与输入信息的匹配程度。
自动化评测系统的探索面临很多技术难题，但令人振奋的是，语言和图像领域为我们提供了人工评测的新思路。
由此，来自复旦大学和上海 AI lab 的开发者推出了 3DGen-Arena。
为实现多维度、全方位的评估，3DGen-Arena 划分出的 5 个独立维度各有侧重，互为补充：
“几何合理性”是 3D 模型的基本要求，能够衡量生成模型习得的 3D 先验水平；
“几何精细度”则是更高层次的要求，是提升生成质量的关键方向；
“纹理质量”直接影响生成的 3D 资产的视觉效果，视角一致、富有美学的纹理贴图是纹理优化的目标；
“几何-纹理一致性”在现实世界中，常常被忽略。但在生成过程中，我们发现保证一致的贴图并不总是容易的；
“文本/图像-3D 一致性”是条件生成方式的内在要求，实现跨模态精准控制是不断追求的目标。
除了匿名模型投票外，3DGen-Arena 还允许参与者指定模型进行比较，以及与单个模型交互，满足社区的多样需求。
开发人员表示，考虑到部分文生 3D 模型漫长的训练时长，以及复杂的数据后处理，目前 3DGen-Arena 暂不支持开放式输入的在线生成功能。
但他们精心设计了 1k+ 条 prompt，其中文生 3D 和图生 3D 各 500 余条，是现有其他评测系统 prompt 集数量的 10 倍（~10x），涵盖了“交通工具”、“动物”、“植物”、“食物”、“室内物品”、“室外物品”等 6 大基础类别。
为了观察 3D 生成模型对 prompt 复杂程度的敏感程度，除了单个物体生成外，开发人员还设计了物体间的多种排列组合方式，以及一些带有交互的“微场景”。
截至目前，3DGen-Arena 平台已经内嵌了 1w+ 个 3D 资产，可以提供 5.8w 组不同的比较对。
开发人员还表示，之后将继续维护和完善 3DGen-Arena：增添更多的开源、甚至闭源模型；定期维护、更新排名榜；上线支持开放式输入的在线生成服务……
3D 生成为何需要一个科学、全面、鲁棒的评价体系？这当中益处不言而喻。
一方面， 通过质量评测，深入理解现有生成模型的优缺点，挖掘潜在的发展方向，进而指导模型改进和新算法的开发，不断探索 AIGC 的能力边界。
另一方面，多维度的 3D 质量评测对实践应用有指导性作用， 便于针对不同的下游需求，把握关键维度，权衡次要维度。
话不多说了，从事 3D 生成的或者对 3D 生成任务感兴趣的家人们，快去 pick 你喜欢的模型吧～
