CityGS-X 团队投稿
量子位 | 公众号 QbitAI
仅用 4090 就能实现大规模城市场景重建
高效几何重建新架构 CityGS-X 来了，通过一种新型并行化混合分层三维表征架构（PH²-3D）的可扩展系统，突破了传统三维重建在算力消耗和几何精度上的限制。
算力瓶颈无处不在，当前 3D 高斯泼溅技术虽取得显著进展，却仍面临三大核心挑战：处理速度缓慢、计算成本高昂、几何精度有限
来自上海 AI Lab 和西工大的研究团队认为，这些问题的根源在于其非结构化设计本质与并行化机制的缺失。
这就引出一个关键命题：能否构建一个兼具高效性、扩展性和精确性的新一代几何重建框架？
由此，团队提出了 CityGS-X，研究的主要贡献在于：
- 提出并行化混合层次三维表征（PH²-3D）的可扩展架构，摒弃了传统大场景分块算法造成的训练冗余，相比现有的 SOTA 几何重建方法，训练速度提升了一倍
- 提出多任务批渲染框架下的动态分配锚点的并行机制，在训练阶段以及渲染阶段可以利用多张低端卡平替以及超越目前单张高端显卡，对于 5000+ 图的大场景（Matrixcity）只需 4 卡 4090 即可实现
- 提出在模态批渲染框架下的渐进式 RGB-深度-法向联合训练方法，在 RGB 渲染和几何精度上都达到同类任务中的 SOTA。
以下是更多细节。
CityGS-X 的构建
CityGS-X 提出基于并行化混合层次三维表征（PH²-3D）的可扩展架构，摒弃传统繁琐的合并-分区流程，首创批处理级多任务渲染机制；
开发动态多细节层次体素分配策略，实现显存占用与计算效率的平衡；
设计渐进式 RGB-深度-法线联合训练方案，通过多视角约束与深度先验的协同优化，显著提升几何一致性。
PH²-3D 的设计
批处理级多任务渲染机制
团队采用批处理级多任务渲染机制，首先将批量渲染图像分割为 16×16 像素的图块，并基于 Grendal-GS 的自适应负载均衡策略分配到不同 GPU。
在每块渲染任务中，提出视角相关高斯迁移策略：并行搜索所有 GPU 上各 LoD 层级的相交体素，预测对应高斯属性（如公式所示），并迁移至任务分配 GPU。
随后各区块遵循经典基于瓦片的光栅化并行渲染：
其中N为迁移高斯点数量，π(·)为迁移高斯重排序函数。
同时基于 PGSR 策略生成当前视角法线图：
批处理级连续性渐进训练
作者提出三阶段渐进式训练策略：
阶段一：批处理级 RGB 训练
阶段二：增强深度先验训练
基于最新单目深度估计器具有平滑连续的表面预测特性，作者提出改进方案：
阶段三：批处理级几何训练
实验结果
以下是与主流方法的渲染指标对比（本文方法均使用 4 卡 4090）
深度图可视化结果：
对比试验中，团队在 RGB 渲染、深度渲染与其它方法对比，实验表明CityGS-X 在 RGB 渲染最优的情况下，深度图也最准确，具有更少的浮点以及地面的空洞
同时对于法线图渲染，CityGS-X 也展现出更准确的细节
法线图可视化:
与目前的 SOTA 方法相比，CityGS-X 在整体的 mesh 可视化上都有显著提升
texture 和 mesh 可视化对比：
时间对比实验结果：
F1 分数对比实验结果：
在 MatriCity 数据集上进行定量对比，CityGS-X 在重建精度上有显著提升，同时在训练速度上也有明显提升。
论文链接：https://arxiv.org/pdf/2503.23044
