近年来,深度学习的进展显著推动了3D形状生成领域的发展,使得复杂、多样且具有语义意义的三维物体合成成为可能。本文综述了当前3D形状生成的最新研究成果,围绕三个核心组成部分展开讨论:形状表示、生成建模方法以及评估协议。我们首先将3D表示划分为显式表示、隐式表示和混合表示三类,重点介绍其结构特性、优势与局限。接着,我们回顾了多种生成方法,重点关注前馈式架构。此外,我们还总结了评估生成形状保真度、多样性和真实感时常用的数据集与评估指标。最后,我们指出了当前仍面临的开放挑战,并提出了未来在可控性、高效性和高质量3D形状生成方面的研究方向。希望本综述能为希望深入了解该快速发展领域的研究人员和工程实践者提供有价值的参考。
由于在多个领域中具有广泛的应用价值,3D形状的生成建模近年来受到了极大的关注,涵盖医学【GYS+18, FWB+23, DWB+25】、机器人学【NZZC20】、生物信息学【HSVW22, XYS+21, YZP+23】、计算机辅助设计【HPG+22, LLW22, HHL+24b】、文化遗产保护【HS18, XSG+24】等多个方向。为了支持这些下游任务,一个成功的3D生成模型应同时具备保真性与概率性【ZDW21】:保真的模型能够生成几何上合理且视觉上真实的形状,同时在有条件生成时遵循部分观测(如深度图或遮挡);而概率性的模型则需要捕捉3D形状生成中固有的不确定性与多模态性,能够在不完整或模糊的输入下生成多样化的结果。 考虑到深度学习对数据的高度依赖,构建与评测大规模3D形状数据集已成为训练和评估生成模型的重要基础【CFG+15, ZSK+15】。 本文综述了基于深度学习的3D形状生成技术(参见表1)。相较于传统的3D获取与建模方法——依赖手工特征与算法管线以追求几何精度——基于深度学习的3D形状生成具备自动学习复杂、高维潜空间的能力,能够同时捕捉3D物体的结构属性与语义特征。这不仅支持新颖多样的形状合成,还允许在潜空间中进行直观的操作,如插值、外推及条件编辑。 然而,学习生成3D形状面临诸多独特挑战。3D形状本身的复杂性与不规则性,以及实际应用中多样的需求,导致当前仍缺乏统一的3D表示形式【XLZ+20】。相反,不同任务常采用不同的3D表示方式,每种表示均具有自身的结构特性、优势与局限,这些因素会直接影响模型设计、数据处理及评估策略。 我们将本文的讨论围绕3D形状生成流程中的三个核心组成部分展开:形状表示、生成方法与评估协议。图1展示了本综述的整体框架。第二节介绍了研究范围与相关工作;第三节介绍主要的3D形状表示类别:显式表示、隐式表示与混合表示;第四节深入探讨与3D形状生成最相关的方法,重点聚焦前馈式生成模型;第五与第六节分别介绍评估生成形状保真度与多样性所常用的数据集与指标;最后,第七节讨论当前仍存在的开放挑战与未来研究方向。
我们希望本综述能对3D形状生成这一快速发展的领域提供系统性的总结,为该领域的研究者与初学者提供有价值的参考资料。