8 月 28 日消息,阿里巴巴旗下高德发布万帧级流式 3D 重建模型 ABot-Recon。据介绍,该模型无需长程记忆,仅凭连续 12 帧局部画面,即可实时重建上万帧 3D 场景,实现“边拍边建”。
与传统流式 3D 重建依赖长程记忆锚点不同,ABot-Recon 采用“局部位姿预测+残差优化”技术路线,仅以最近 12 帧画面作为局部上下文窗口,预测局部点云及相邻两帧的相对位姿,再在线组合形成完整的全局轨迹和三维场景。
高德披露,在 Oxford Spires 长序列基准测试中,ABot-Recon 平均轨迹误差较 LingBot-Map 降低 40.6%,相对旋转误差 RPE-R 为 0.12°,较前代 SOTA 降低约 40%。
速度方面,在 KITTI-02 测试中,ABot-Recon 实时重建速度达到 24.45 FPS,为行业代表方法的 1.24 倍;峰值显存占用约 6.71GB,约为同类模型的三分之一,一张 GTX 1080Ti 即可运行。
ABot-Recon 仅需单目 RGB 视频输入,无需额外深度传感器或已知相机参数,可应用于私域建图、底图更新、具身智能、自动驾驶及 3D 内容生产等场景。
目前,ABot-Recon 已在 GitHub 开源推理及评测代码和模型权重,并在魔搭社区上线体验专区。(易智)
