【CUHK博士论文】大规模3D神经形状建模：表示、生成与可控性

三维生成建模具有创建有价值三维资产的潜力，这些资产在娱乐、工业设计和现实世界制造等多个领域中有着广泛的应用。本论文介绍了多个创新的三维生成框架，强调不仅创建不同表现形式的独特三维形状，还引入了不同的控制生成过程的机制，同时展示了大规模学习三维生成模型的可能性。首先，我们提出了一个直接生成三维网格的新框架，将生成任务分解为两个不同的子任务：拓扑形成和形状变形。在拓扑形成阶段，我们学习了一个拓扑感知的神经模板。在形状变形阶段，这个模板被变形以产生最终的网格，确保保持初始拓扑。这种方法使我们能够灵活生成具有不同拓扑的形状。同时，我们在潜在空间中开发了一个解耦表示，用于拓扑形成和形状变形。这种表示使新的解耦控制成为可能，支持各种形状生成应用，如重混三维对象的拓扑，这在以前的重建工作中是无法实现的。其次，我们提出了一个创新的生成框架，用于创建高解析度的隐式函数。该方法的主要贡献在于将三维形状紧凑地编码为小波表示。这是通过一对粗糙和细节系数体积来实现的，这些系数体积通过截断距离函数（TSDF）和多尺度双正交小波隐式地表示三维形状。我们然后建立了一对神经网络：一个基于扩散模型的生成器，用于生成以粗糙系数体积形式存在的多样形状，以及一个细节预测器，用于生成兼容的细节系数体积。总体而言，我们的方法能够生成具有更细节的高品质形状，超越现有的生成框架。第三，我们扩展了基于小波的生成框架以进行形状反映任务。目标是将三维形状编码为潜在表示，这可以用来准确重建原始形状。这是通过联合训练一个基于扩散的生成器和一个额外的编码器来产生这个潜在表示来完成的。我们然后引入了一个优化过程，这有助于通过优化更合适的潜在表示来提高以前未见三维对象的重建质量。使用派生的表示，我们展示了多种具有语义意义的应用，包括形状插值。此外，我们提出了一种区域感知操作过程，能够操作三维形状的不同部分。最后，我们深入研究了大规模三维生成，提出了一个在一个包含1000万个公开可用形状的庞大数据集上训练的新三维生成模型。我们首先提出了一个小波树表示，这是一种改进的小波表示，用于编码高解析度SDF形状，损失最小。这有助于高效的存储和流媒体，这对大规模训练至关重要。随后，我们提出了一种子带系数打包方案，使基于扩散的生成成为可能，并提出了一种子带自适应训练策略，以确保在大规模数据集上有效训练。我们的生成框架高度灵活，能够根据各种输入模态进行条件生成，如图像、点云和体素。这种灵活性允许进行各种下游应用，包括无条件生成、补全和条件生成。总的来说，本论文介绍并强调了三维生成研究中的不同重要方面，包括表示的紧凑性、可控性和可扩展性，为三维建模研究中的不同潜在方向开启了新可能性。https://repository.lib.cuhk.edu.hk/en/islandora/object/cuhk%3A3550245/metadata