近年来,深度学习的进展显著推动了3D形状生成领域的发展,使得复杂、多样且具有语义意义的三维物体合成成为可能。本文综述了当前3D形状生成的最新研究成果,围绕三个核心组成部分展开讨论:形状表示、生成建模方法以及评估协议。我们首先将3D表示划分为显式表示、隐式表示和混合表示三类,重点介绍其结构特性、优势与局限。接着,我们回顾了多种生成方法,重点关注前馈式架构。此外,我们还总结了评估生成形状保真度、多样性和真实感时常用的数据集与评估指标。最后,我们指出了当前仍面临的开放挑战,并提出了未来在可控性、高效性和高质量3D形状生成方面的研究方向。希望本综述能为希望深入了解该快速发展领域的研究人员和工程实践者提供有价值的参考。

1 引言

由于在多个领域中具有广泛的应用价值,3D形状的生成建模近年来受到了极大的关注,涵盖医学【GYS+18, FWB+23, DWB+25】、机器人学【NZZC20】、生物信息学【HSVW22, XYS+21, YZP+23】、计算机辅助设计【HPG+22, LLW22, HHL+24b】、文化遗产保护【HS18, XSG+24】等多个方向。为了支持这些下游任务,一个成功的3D生成模型应同时具备保真性概率性【ZDW21】:保真的模型能够生成几何上合理且视觉上真实的形状,同时在有条件生成时遵循部分观测(如深度图或遮挡);而概率性的模型则需要捕捉3D形状生成中固有的不确定性与多模态性,能够在不完整或模糊的输入下生成多样化的结果。 考虑到深度学习对数据的高度依赖,构建与评测大规模3D形状数据集已成为训练和评估生成模型的重要基础【CFG+15, ZSK+15】。 本文综述了基于深度学习的3D形状生成技术(参见表1)。相较于传统的3D获取与建模方法——依赖手工特征与算法管线以追求几何精度——基于深度学习的3D形状生成具备自动学习复杂、高维潜空间的能力,能够同时捕捉3D物体的结构属性与语义特征。这不仅支持新颖多样的形状合成,还允许在潜空间中进行直观的操作,如插值、外推及条件编辑。 然而,学习生成3D形状面临诸多独特挑战。3D形状本身的复杂性与不规则性,以及实际应用中多样的需求,导致当前仍缺乏统一的3D表示形式【XLZ+20】。相反,不同任务常采用不同的3D表示方式,每种表示均具有自身的结构特性、优势与局限,这些因素会直接影响模型设计、数据处理及评估策略。 我们将本文的讨论围绕3D形状生成流程中的三个核心组成部分展开:形状表示生成方法评估协议。图1展示了本综述的整体框架。第二节介绍了研究范围与相关工作;第三节介绍主要的3D形状表示类别:显式表示、隐式表示与混合表示;第四节深入探讨与3D形状生成最相关的方法,重点聚焦前馈式生成模型;第五与第六节分别介绍评估生成形状保真度与多样性所常用的数据集与指标;最后,第七节讨论当前仍存在的开放挑战与未来研究方向。

我们希望本综述能对3D形状生成这一快速发展的领域提供系统性的总结,为该领域的研究者与初学者提供有价值的参考资料。

成为VIP会员查看完整内容
1

相关内容

三维物体与场景生成的最新进展:综述
专知会员服务
17+阅读 · 4月17日
机器人操作扩散模型综述
专知会员服务
20+阅读 · 4月14日
时间序列大模型综述
专知会员服务
38+阅读 · 4月8日
标注受限场景下的视觉表征与理解
专知会员服务
14+阅读 · 2月6日
小型语言模型综述
专知会员服务
49+阅读 · 2024年10月29日
《3D神经风格化进展》综述
专知会员服务
28+阅读 · 2023年12月24日
用于识别任务的视觉 Transformer 综述
专知会员服务
74+阅读 · 2023年2月25日
专知会员服务
51+阅读 · 2021年5月15日
多模态情绪识别研究综述
专知
24+阅读 · 2020年12月21日
图表示学习Graph Embedding综述
AINLP
35+阅读 · 2020年5月17日
初学者系列:Deep FM详解
专知
108+阅读 · 2019年8月26日
PointNet系列论文解读
人工智能前沿讲习班
17+阅读 · 2019年5月3日
【CPS】社会物理信息系统(CPSS)及其典型应用
产业智能官
16+阅读 · 2018年9月18日
【数字孪生】数字化孪生“双胞胎”技术及应用
产业智能官
22+阅读 · 2018年8月12日
Mask R-CNN 论文笔记
统计学习与视觉计算组
11+阅读 · 2018年3月22日
YOLO算法的原理与实现
机器学习研究会
43+阅读 · 2018年1月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
170+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
472+阅读 · 2023年3月31日
Arxiv
77+阅读 · 2023年3月26日
Arxiv
171+阅读 · 2023年3月24日
Arxiv
24+阅读 · 2023年3月17日
VIP会员
相关主题
相关VIP内容
三维物体与场景生成的最新进展:综述
专知会员服务
17+阅读 · 4月17日
机器人操作扩散模型综述
专知会员服务
20+阅读 · 4月14日
时间序列大模型综述
专知会员服务
38+阅读 · 4月8日
标注受限场景下的视觉表征与理解
专知会员服务
14+阅读 · 2月6日
小型语言模型综述
专知会员服务
49+阅读 · 2024年10月29日
《3D神经风格化进展》综述
专知会员服务
28+阅读 · 2023年12月24日
用于识别任务的视觉 Transformer 综述
专知会员服务
74+阅读 · 2023年2月25日
专知会员服务
51+阅读 · 2021年5月15日
相关资讯
多模态情绪识别研究综述
专知
24+阅读 · 2020年12月21日
图表示学习Graph Embedding综述
AINLP
35+阅读 · 2020年5月17日
初学者系列:Deep FM详解
专知
108+阅读 · 2019年8月26日
PointNet系列论文解读
人工智能前沿讲习班
17+阅读 · 2019年5月3日
【CPS】社会物理信息系统(CPSS)及其典型应用
产业智能官
16+阅读 · 2018年9月18日
【数字孪生】数字化孪生“双胞胎”技术及应用
产业智能官
22+阅读 · 2018年8月12日
Mask R-CNN 论文笔记
统计学习与视觉计算组
11+阅读 · 2018年3月22日
YOLO算法的原理与实现
机器学习研究会
43+阅读 · 2018年1月19日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员