国思软件 - 刚刚，全球首个具身专属的MoE视频模型，开源了！

　　金磊发自凹非寺

　　量子位 | 公众号 QbitAI

　　终于，专属具身智能的视频模型来了！

　　话不多说，直接来看生成的效果：

　　视频地址：

　　https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q

　　这就是蚂蚁灵波刚刚正式开源的 LingBot-Video——

　　全球首个面向具身智能的大规模 MoE 视频基础模型、视频物理引擎。

　　或许有小伙伴要问了，像刚才视频里的机器人切西红柿、吸床单和收纳口红，目前很多视频生成的 AI 不也能搞出来吗？

　　确实。

　　但既然说了 LingBot-Video 是具身版的专属视频模型，那说明它从架构、数据到训练目标全链路都是为机器人、人形智能体量身打造的。

　　而且其它视频生成 AI 的关注点，更多的是时长、美学、画质、运镜等等。

　　但到了 LingBot-Video 这里，重中之重，变成了是否符合物理规律。

　　除此之外，LingBot-Video 的亮点还包括：

架构上采用 MoE，让模型容量和推理成本更好平衡；
30B 参数，推理时仅激活 3B；
数据上引入超 70000 小时具身相关视频，让模型学习机器人操作、导航、第一视角等场景；
训练上加入多维奖励系统，把物理合理性、任务完成度纳入优化目标。
已在 RBench 上超越业内通用视频生成标杆模型。

　　LingBot-Video 一经开源，同样也是引发了网友们不小的热议，他们直呼：

它的功能远不止于生成视频，如此大规模的训练，让模型对现实世界中的互动有了更深刻的理解。

　　为什么机器人需要自己的视频模型？

　　对于这个问题，答案其实蛮现实且刚需的。

　　通用视频模型的训练目标，主要围绕视觉质量、语义对齐、运动连贯展开。人看视频时，也更容易被画质、光影、构图、风格打动。

　　但机器人看世界的方式却截然不同。

　　它不只是看见一个杯子，还要判断自己伸手过去以后，杯子会怎么动；看见一条路，还要判断从这里走过去，会不会撞到障碍……

　　所以，我们可以认为内容视频和具身视频其实是两套评价体系。

△图片由 AI 生成

　　通用模型里偶尔出现的穿模、物体凭空消失、动作违背惯性，对短视频创作来说可能只是瑕疵。观众看一眼，最多吐槽一句“AI 味有点重”。

　　但如果把这些错误视频拿去训练机器人，那问题可就大了。

　　因为这就相当于在教机器人一套错误的世界规律，它们会误认为手可以穿过物体、杯子可以无缘无故复原、液体可以悬在空中……

　　所以 LingBot-Video 生成的视频，就是要让机器人的大脑学会真真实实的物理规律。

　　例如下面这三组生成的工业场景的视频：

　　视频地址：

　　https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q

　　视频中，机械臂在产线上对零件进行抓取、放置、定位，有的还涉及焊接、加工这样的动作。但重点在于末端执行器、工件、工作台之间的相对关系能不能在连续帧里保持稳定。

　　这对应的正是机器人真正需要学习的能力，包括看懂物体，靠近物体，作用于物体，然后预测物体状态的变化。

　　再如更复杂的动态场景：

　　视频地址：

　　https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q

　　一个是第一视角滑雪镜头，从雪坡向前冲下，雪雾、坡面、身体姿态都在快速变化；另一个画面里，人形机器人则在雪道上和滑雪者并行绕旗门前进。

　　这类场景考验的，便是机器人对于空间的理解、运动的预测和动态环境的建模等能力。

　　还有机器人打排球、踢足球：

　　视频地址：

　　https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q

　　排球场上，机器人起跳、挥臂、击球，球沿着空中轨迹飞出；足球场上，机器人完成摆腿、触球、射门，球和身体动作之间有明确对应关系。

　　这就有点接近我们人类期待的具身智能所拥有的灵活的运动能力。

　　（LingBot-Video 完整能力视频如下）

　　视频地址：

　　https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q

　　在看完效果之后，那么接下来的问题就是：

　　LingBot-Video 是怎么做到的？

　　30B 的大脑，仅 3B 出手

　　要让视频模型更懂机器人，第一步是架构。

　　从此次团队发布的技术报告来看，较为吸睛一点便是引入了MoE 架构。

　　为啥要这么做？打个比方。

　　传统 Dense 模型更像一个大办公室，每来一个任务，所有人都要一起上场。好处是稳，坏处是贵。模型越大，每次调用成本越高。

　　而 MoE 则像一个大型专家库，任务来了，不用所有专家都出手，只叫最相关的一组专家来处理。

　　LingBot-Video 的体量共计 30B 参数，但正因引入了 MoE，单次生成大约激活 3B 参数参与计算。

　　由此，不仅计算成本变得更低，扩展方式也从直接堆参数变成了按需激活。

　　毕竟机器人训练、策略评估、动作规划，天然需要大量模拟和试错，若每次生成视频都要激活全部参数，那成本自然贵得离谱，那这个视频物理引擎也就很难真正被用起来。

　　更具体来说，视频要模拟连续物理世界，需要处理复杂运动轨迹、三维空间一致性、材质纹理等复杂分布；稀疏 MoE 可以在固定计算预算下扩大参数容量，把总参数规模和每个 Token 实际激活的计算量解耦。

　　从实验结果来看，MoE30B-A3B 在 1M Token 长度下，对比 Dense6B、Dense 14B、Dense 30B 的速度比分别达到 1.50×、2.59×和 3.18×；同时，稀疏框架还能保持接近 3B 规模模型的推理效率。

　　除了架构之外，LingBot-Video 另一大技术亮点，便在于它的数据。

　　大语言模型为什么能起来？一个很重要的原因是，互联网天然积累了海量文本。

　　但机器人并没有属于自己的互联网，网上不存在几十亿小时的机器人动作数据。

　　真实机器人数据要靠遥操作、真实设备、真实场地一点点采集，不仅成本高、速度还慢；当然，仿真数据也是一条路，不过仿真器里学会的东西，到了真实世界常常会遇到 sim-to-real gap。

　　而 LingBot-Video 选择的是第三条路，即把通用互联网视频和具身数据结合起来。

　　从发布的技术报告来看，模型引入了超过 70000 小时的 embodiment-oriented footage，覆盖机器人操作 VLA、导航、第一视角视频，还包括真实机器人、仿真、开源、第三人称视角，以及人形机器人、四足机器人等平台。

　　这些数据不是简单拼接进去的，而是在训练流程的专门阶段里，针对稀缺但高价值的具身数据做了刻意的“少筛选、多保留”，防止被海量的普通互联网视频稀释掉。

　　所有素材都会经过五维结构化标注，精准标记物体、材质、动作时间戳、受力交互关系；同时采用课程式五阶段渐进训练，从低清静态图像打底，逐步过渡到高清长时序视频，循序渐进让模型掌握复杂物理交互逻辑。

　　针对机械操作、精密抓取这类长尾场景，团队还通过分布感知采样做加权强化，补齐小众工业、家用机器人场景生成能力。

　　最后，还要一个强化学习环节。

　　传统视频模型仅用画面美观度、文本匹配度做优化目标，不太不约束物理逻辑。而 LingBot-Video 搭建一套分层强化学习奖励体系，从感知、物理、执行三个维度同步约束生成结果：

感知维度：保障画面清晰度、文字描述匹配度、动态流畅度；
物理维度：模型核心优化指标，校验物体不穿透、无凭空消失、运动符合重力惯性、材质受力形变合理；
执行维度：校验机器人肢体结构完整、动作流程可落地、任务目标完整完成。

　　训练采用 GRPO 组相对策略优化方案，搭配负感知微调规避奖励黑客问题。同时原生支持 Action-to-Video 动作条件生成，输入机器人动作指令，就能直接输出后续完整视觉变化，可直接对接机器人运动规划模块。

　　另外模型还配套级联精炼方案，先生成 480p 基础时序画面保证运动逻辑，再精炼至 1080p 高清画质，如此一来，便可平衡推理速度与画面细节。

　　在评测过程中，LingBot-Video 被拿来和 NVIDIACosmos3、LongCat-Video、LTX-2.3 等开源模型比较。

　　结果显示，在 TI2V 任务上，LingBot-Video 在开源竞品中达到 SOTA 水平，并在 general quality 和 embodied domain 两项得分中位居第一；在 T2V 任务上，虽然 general quality 排名第二，但 embodied domain 得分仍超过 Cosmos 等竞争基线。