The use of autoencoders for shape generation and editing suffers from manipulations in latent space that may lead to unpredictable changes in the output shape. We present an autoencoder-based method that enables intuitive shape editing in latent space by disentangling latent sub-spaces to obtain control points on the surface and style variables that can be manipulated independently. The key idea is adding a Lipschitz-type constraint to the loss function, i.e. bounding the change of the output shape proportionally to the change in latent space, leading to interpretable latent space representations. The control points on the surface can then be freely moved around, allowing for intuitive shape editing directly in latent space. We evaluate our method by comparing it to state-of-the-art data-driven shape editing methods. Besides shape manipulation, we demonstrate the expressiveness of our control points by leveraging them for unsupervised part segmentation.


翻译:使用自动编码器进行形状生成和编辑,受到潜在空间的操纵,可能导致输出形状发生不可预测的变化。我们展示了一种基于自动编码器的方法,通过拆分潜潜潜的子空间,在潜空进行直观的形状编辑,以获得可独立操作的表面和样式变量的控制点。关键的想法是给损失功能添加一个 Lipschitz 类型的限制,即将输出形状的变化与潜空的变化成比例地捆绑在一起,导致可解释的潜在空间显示。然后,表面的控制点可以自由移动,允许在潜空直接进行直观的形状编辑。我们通过将其与最先进的数据驱动的形状编辑方法进行比较来评估我们的方法。除了形状操纵外,我们通过利用这些控制点进行不受监控的部分分割来显示我们控制点的清晰度。

0
下载
关闭预览

相关内容

【Thomas G. Dietterich】面向OOD的异常检测与新型类别检测
专知会员服务
32+阅读 · 2021年12月19日
虚拟数字人应用技术与发展路径
专知会员服务
99+阅读 · 2021年11月3日
专知会员服务
32+阅读 · 2021年9月16日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
78+阅读 · 2020年7月26日
【华盛顿大学】预训练语言模型中的潜在名称构件
专知会员服务
3+阅读 · 2020年4月6日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
5+阅读 · 2021年1月7日
Arxiv
3+阅读 · 2020年7月16日
DPOD: Dense 6D Pose Object Detector in RGB images
Arxiv
5+阅读 · 2019年2月28日
VIP会员
相关VIP内容
【Thomas G. Dietterich】面向OOD的异常检测与新型类别检测
专知会员服务
32+阅读 · 2021年12月19日
虚拟数字人应用技术与发展路径
专知会员服务
99+阅读 · 2021年11月3日
专知会员服务
32+阅读 · 2021年9月16日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
78+阅读 · 2020年7月26日
【华盛顿大学】预训练语言模型中的潜在名称构件
专知会员服务
3+阅读 · 2020年4月6日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员