Vision-Language-Action (VLA) models have achieved remarkable progress in robotic manipulation by mapping multimodal observations and instructions directly to actions. However, they typically mimic expert trajectories without predictive motion reasoning, which limits their ability to reason about what actions to take. To address this limitation, we propose joint learning with motion image diffusion, a novel strategy that enhances VLA models with motion reasoning capabilities. Our method extends the VLA architecture with a dual-head design: while the action head predicts action chunks as in vanilla VLAs, an additional motion head, implemented as a Diffusion Transformer (DiT), predicts optical-flow-based motion images that capture future dynamics. The two heads are trained jointly, enabling the shared VLM backbone to learn representations that couple robot control with motion knowledge. This joint learning builds temporally coherent and physically grounded representations without modifying the inference pathway of standard VLAs, thereby maintaining test-time latency. Experiments in both simulation and real-world environments demonstrate that joint learning with motion image diffusion improves the success rate of pi-series VLAs to 97.5% on the LIBERO benchmark and 58.0% on the RoboTwin benchmark, yielding a 23% improvement in real-world performance and validating its effectiveness in enhancing the motion reasoning capability of large-scale VLAs.


翻译:视觉-语言-动作模型通过将多模态观测与指令直接映射为动作,在机器人操作任务中取得了显著进展。然而,此类模型通常仅模仿专家轨迹而缺乏预测性运动推理能力,这限制了其对动作决策的推理能力。为突破这一局限,我们提出结合运动图像扩散的联合学习策略,该创新方法通过运动推理能力增强了VLA模型。我们的方法采用双头设计扩展VLA架构:动作头如传统VLA模型预测动作序列,新增的运动头则通过扩散Transformer实现,可预测基于光流的运动图像以捕捉未来动态。两个头通过联合训练,使共享的视觉语言模型骨干网络能够学习机器人控制与运动知识耦合的表征。这种联合学习在不改变标准VLA推理路径的前提下,构建了时间连贯且物理基础的表征,从而保持了测试阶段的实时性。在仿真与真实环境中的实验表明,运动图像扩散联合学习将π系列VLA模型在LIBERO基准上的成功率提升至97.5%,在RoboTwin基准上达到58.0%,真实场景性能提升23%,验证了该方法在增强大规模VLA模型运动推理能力方面的有效性。

0
下载
关闭预览

相关内容

国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员