Image-to-image translation is the recent trend to transform images from one domain to another domain using generative adversarial network (GAN). The existing GAN models perform the training by only utilizing the input and output modalities of transformation. In this paper, we perform the semantic injected training of GAN models. Specifically, we train with original input and output modalities and inject a few epochs of training for translation from input to semantic map. Lets refer the original training as the training for the translation of input image into target domain. The injection of semantic training in the original training improves the generalization capability of the trained GAN model. Moreover, it also preserves the categorical information in a better way in the generated image. The semantic map is only utilized at the training time and is not required at the test time. The experiments are performed using state-of-the-art GAN models over CityScapes and RGB-NIR stereo datasets. We observe the improved performance in terms of the SSIM, FID and KID scores after injecting semantic training as compared to original training.


翻译:图像到图像翻译是最近使用基因对抗网络将图像从一个域转换为另一个域的趋势。 现有的GAN模型仅利用转换的输入和输出模式来进行培训。 在本文中,我们进行GAN模型的语义注射培训。 具体地说, 我们用原始输入和输出模式来培训, 并输入几小段从输入到语义图的翻译培训。 将原始培训称为将输入图像转换为目标域的培训。 在原始培训中注入语义培训提高了经过培训的GAN模型的普及能力。 此外, 还在生成的图像中以更好的方式保存绝对信息。 语义图仅在培训时使用, 在测试时不需要使用。 实验是用最新的GAN模型在CityScapes 和 RGB- NIR 立式数据集进行的。 我们观察到,与原始培训相比,在注射语义培训后,SISIM、 FID和 KID 分数的成绩有所改善。

0
下载
关闭预览

相关内容

【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
【Google】无监督机器翻译,Unsupervised Machine Translation
专知会员服务
35+阅读 · 2020年3月3日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
已删除
将门创投
8+阅读 · 2017年7月21日
Deep Co-Training for Semi-Supervised Image Segmentation
Arxiv
8+阅读 · 2018年5月1日
VIP会员
相关VIP内容
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
【Google】无监督机器翻译,Unsupervised Machine Translation
专知会员服务
35+阅读 · 2020年3月3日
相关资讯
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
已删除
将门创投
8+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员