Unsupervised disentanglement learning is a crucial issue for understanding and exploiting deep generative models. Recently, SeFa tries to find latent disentangled directions by performing SVD on the first projection of a pre-trained GAN. However, it is only applied to the first layer and works in a post-processing way. Hessian Penalty minimizes the off-diagonal entries of the output's Hessian matrix to facilitate disentanglement, and can be applied to multi-layers.However, it constrains each entry of output independently, making it not sufficient in disentangling the latent directions (e.g., shape, size, rotation, etc.) of spatially correlated variations. In this paper, we propose a simple Orthogonal Jacobian Regularization (OroJaR) to encourage deep generative model to learn disentangled representations. It simply encourages the variation of output caused by perturbations on different latent dimensions to be orthogonal, and the Jacobian with respect to the input is calculated to represent this variation. We show that our OroJaR also encourages the output's Hessian matrix to be diagonal in an indirect manner. In contrast to the Hessian Penalty, our OroJaR constrains the output in a holistic way, making it very effective in disentangling latent dimensions corresponding to spatially correlated variations. Quantitative and qualitative experimental results show that our method is effective in disentangled and controllable image generation, and performs favorably against the state-of-the-art methods. Our code is available at https://github.com/csyxwei/OroJaR


翻译:不受监督的分解学习是了解和利用深度基因模型的关键问题。 最近, Sefa 试图通过在预训练的 GAN 首次投影时执行 SVD 来找到潜在的分解方向。 但是, 它只应用到第一个层, 并且以后处理方式工作。 Hessian 惩罚将输出的 Hessian 矩阵的离异条目最小化, 以方便分解, 并且可以应用到多层。 但是, 它会独立限制输出的每个输入, 使得它不足以分解空间相关变异的潜在方向( 如形状、 大小、 旋转等 ) 。 但是, 我们在此文件中建议一个简单的 Orthogoal Jacobian 正规化( OrojaR), 以鼓励深层次化模型来学习分解的表达方式。 它只是鼓励不同隐性维度的分解导致产出的变异性。 然而, 雅cocobian 对输入的表达方式来代表这种变异性。 我们的 OroJAR 将输出在 方向上显示一种有效的直径直径变 。

0
下载
关闭预览

相关内容

专知会员服务
26+阅读 · 2021年7月11日
专知会员服务
39+阅读 · 2021年7月4日
专知会员服务
61+阅读 · 2021年3月12日
【文本生成现代方法】Modern Methods for Text Generation
专知会员服务
43+阅读 · 2020年9月11日
专知会员服务
61+阅读 · 2020年3月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年10月12日
Pluralistic Image Completion
Arxiv
8+阅读 · 2019年3月11日
Arxiv
7+阅读 · 2018年11月27日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
6+阅读 · 2018年3月12日
Arxiv
7+阅读 · 2018年1月21日
VIP会员
相关VIP内容
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
0+阅读 · 2021年10月12日
Pluralistic Image Completion
Arxiv
8+阅读 · 2019年3月11日
Arxiv
7+阅读 · 2018年11月27日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
6+阅读 · 2018年3月12日
Arxiv
7+阅读 · 2018年1月21日
Top
微信扫码咨询专知VIP会员