Transfer learning of StyleGAN has recently shown great potential to solve diverse tasks, especially in domain translation. Previous methods utilized a source model by swapping or freezing weights during transfer learning, however, they have limitations on visual quality and controlling source features. In other words, they require additional models that are computationally demanding and have restricted control steps that prevent a smooth transition. In this paper, we propose a new approach to overcome these limitations. Instead of swapping or freezing, we introduce a simple feature matching loss to improve generation quality. In addition, to control the degree of source features, we train a target model with the proposed strategy, FixNoise, to preserve the source features only in a disentangled subspace of a target feature space. Owing to the disentangled feature space, our method can smoothly control the degree of the source features in a single model. Extensive experiments demonstrate that the proposed method can generate more consistent and realistic images than previous works.


翻译:近期,基于 StyleGAN 的迁移学习展示出在不同任务上的巨大潜力,特别是领域转换任务。然而,之前的方法通常通过交换或冻结权重的方式使用源模型进行迁移学习,但这些方法在视觉质量和控制源特征方面都存在局限性。换句话说,它们需要额外的计算模型,具有受限制的控制步骤,防止平滑过渡。在本文中,我们提出了一种新的方法来克服这些局限性。我们引入了一个简单的特征匹配损失函数,而非交换或冻结,从而提高了生成质量。此外,为了控制源特征的程度,我们使用所提出的 FixNoise 策略对目标模型进行训练,只在目标特征空间的一个分离子空间中保留源特征。由于特征空间是分离的,因此我们的方法可以在单个模型内平滑控制源特征的程度。广泛的实验证明,所提出的方法可以生成比之前的方法更加一致和逼真的图像。

0
下载
关闭预览

相关内容

CVPR 2023 | GFPose: 在梯度场中编码三维人体姿态先验
专知会员服务
18+阅读 · 2023年3月25日
KDD 2022 | GraphMAE:自监督掩码图自编码器
专知会员服务
19+阅读 · 2022年7月14日
专知会员服务
64+阅读 · 2021年7月25日
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
79+阅读 · 2020年6月11日
ICRA 2019 论文速览 | 基于Deep Learning 的SLAM
计算机视觉life
41+阅读 · 2019年7月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
10+阅读 · 2021年12月9日
Adversarial Mutual Information for Text Generation
Arxiv
13+阅读 · 2020年6月30日
VIP会员
相关VIP内容
CVPR 2023 | GFPose: 在梯度场中编码三维人体姿态先验
专知会员服务
18+阅读 · 2023年3月25日
KDD 2022 | GraphMAE:自监督掩码图自编码器
专知会员服务
19+阅读 · 2022年7月14日
专知会员服务
64+阅读 · 2021年7月25日
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
79+阅读 · 2020年6月11日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员