【北京大学】CVPR 2020 | PQ-NET：序列化的三维形状生成网络

三维形状物体的生成是计算机图形学和计算机视觉领域的一个重要问题。图形学关注三维物体的建模，而计算机视觉关注如何推断，如从单张图片的输入，对应三维物体的形状。近年来，很多工作开始使用深度神经网络结合不同的三维表达方式来实现三维形状的生成，如体素（voxel），点云（point clouds），三角网格（mesh）以及隐式曲面表达（implicit function）。大部分此类工作生成的是非结构化的三维物体，但是结构化的表达对于感知和理解三维物体是很重要的，如物体不同组件的构成、关系等。

在这个工作里，我们设计了一个深度神经网络，通过顺序部件装配（sequential part assembly）的方式来表达和生成三维物体。简单来说，我们把这样的部件装配序列看成一个”句子”，这个“句子”的每一个“单词”描述了一个部件及其空间位置，类似说一句话一样来生成三维模型。在这个意义上，我们的工作部分受到语法分析的启发：一个句子既可以被看成一个由单词构成的线性结构（linear），也可以被看成由嵌套的短语构成的层级结构（hierarchical）。在三维物体结构表达的情景下，先前的工作 [1,2,3] 采用层级的部件组合（从整体到局部的树状结构），而我们采用线性的部件组合。