【NeurIPS 2020 】生成式的基于动态图网络学习的三维部件拼装

引言

三维形状的部件拼装，是计算机视觉、图形学领域的基本问题。如图1所示，三维部件拼装在数学上可以形式化为对于各个输入部件的位姿估计（pose estimation）问题，即给定各个部件在各自规范空间（canonical space）中的布局，目标是组成一个完整的形状。三维部件拼装有着很广泛的应用，比如从家具城买回来一堆家具的部件，或者工厂当中有一堆杂乱摆放的零件，这时候则需要机器人把这些零散的部件组装成完整的、可供使用的整体。

尽管目前已有很多工作利用深度学习方法进行部件拼装，然而这些方法都至少有以下几个局限性之一：1. 每个部件的几何形状都可以任意生成，没有限制；2. 假设了每个部件初始的时候都是已经旋转好了的；3. 假设机器人知道关于整个三维几何形状的先验知识。为了让训练出来的模型能够更好地在真实的场景中完成部件拼装的任务，在我们的任务设定当中，每个部件的几何形状都是给定、不能更改的，机器人不知道关于整体形体的任何先验知识，并且需要预测每个给定输入部件的包括旋转、平移在内的六自由度位姿。

为解决这一新设定下的部件拼装问题，我们提出了一个基于迭代式图神经网络（iterative graph neural network）的动态图神经网络学习（dynamic graph learning）的框架。在这一框架下，机器人通过对各个部件几何形状的观察和推理去隐式学习各个部件之间的关系，并将这一隐式学到的部件关系应用到部件拼装任务当中，甚至达到了比使用给定各部件之间真实连接关系更好的效果。这一框架，为分析机器学习过程中“机器是如何学习的”，提供了启示。