摘要

我们研究了生成对抗网络(GAN),它的流行变体和在许多领域的应用。GAN利用零和博弈理论将两个相互对抗的神经网络结合起来,使它们能够产生更加清晰和离散的输出。GAN可用于执行图像处理、视频生成和预测,以及其他计算机视觉应用。GAN还可用于各种科学相关活动,包括蛋白质工程、天文数据处理、遥感图像去雾和晶体结构合成。GANs还在金融、营销、时尚设计、体育和音乐等领域取得了成绩。因此,在本文中,我们全面概述了GAN在各种学科中的应用。我们首先介绍支持GAN的理论、GAN变体和评估GAN的指标。然后,我们将介绍GAN及其变体如何应用于十二个领域,从STEM领域,如天文学和生物学,到商业领域,如市场营销和金融,以及艺术,如音乐。因此,其他领域的研究人员可以掌握GAN的工作原理,并将其应用到自己的研究中。就我们所知,本文对GAN在不同领域的应用进行了最全面的综述。

https://arxiv.org/abs/2110.01442

引言

生成对抗网络[48]或GAN属于生成模型[44]家族。生成模型试图从训练集中学习一个概率密度函数,然后从相同的分布中生成新的样本。GAN通过让两个神经网络(Generator和Discriminator)相互竞争,生成与真实数据相似的新合成数据。Generator试图捕获真实的数据分布,以生成新的样本。另一方面,鉴别器通常是一个二进制分类器,它试图尽可能精确地辨别真实和虚假生成的样本。

在过去的几年里,GANs取得了实质性的进展。由于硬件的进步,我们现在可以训练更深入和更复杂的Generator和Discriminator神经网络体系结构,增加模型容量。GAN与其他类型的生成模型相比有许多明显的优势。与玻尔兹曼机[62]不同,GAN不需要蒙特卡罗近似来训练,而且GAN使用反向传播,不需要马尔可夫链。近年来,GAN得到了很大的发展,并被广泛应用于各种学科,可以使用gan的领域列表也在快速扩展。GAN可用于数据生成和增强([78],[134])、图像到图像的转换([70],[197])、图像超分辨率([93],[73])等等。正是这种多用途的特性,使得GAN可以应用于医学和天文学等完全不结盟的领域。

由于GANs非常受欢迎和重要,已经有一些关于GANs的调查和评论。然而,过去的大多数论文都集中在两个不同的方面: 第一,描述GAN及其随时间的增长,第二,讨论GAN在图像处理和计算机视觉应用中的应用([47],[3],[135],[51],[1])。因此,对GAN在广泛学科中的应用的描述较少。因此,我们将在这篇史无前例的文章中全面回顾GAN。我们来看看GANs和一些最广泛使用的模型和变异,以及评价指标的数量,GAN应用在不同的12个区域(包括图片和视频相关的任务,医疗和医疗、生物学、天文学、遥感、材料科学、金融、市场营销、时尚、体育和音乐), GAN的挑战和局限性,以及GAN未来的发展方向。本文的一些主要贡献如下:

  • 描述GAN在工程、科学、社会科学、商业、艺术、音乐和体育领域的广泛应用。据我们所知,这是第一篇涵盖GAN在如此不同领域应用的综述论文。这篇综述将有助于不同背景的研究人员理解GAN的操作,并发现其广泛的应用。

  • GAN评估包括定性和定量方法。该综述提供了定量指标的全面展示,用于评估GAN在计算机视觉和时间序列数据分析中的性能。我们将GAN应用于时间序列数据的评估指标包括在内,这在其他GAN综述论文中没有讨论。据我们所知,这是第一份提出GAN时间序列数据评价指标的调研报告。

我们将本文的其余部分组织如下:第2节介绍GAN的基本工作,以及最常用的GAN变体及其描述。第3节总结了一些常用的GAN评估指标。第4节描述了GAN在各种领域的广泛应用。我们还在每个小节的末尾提供了一个表格,总结了应用领域和使用的相应的GAN模型。第5节讨论了GANs训练过程中遇到的一些困难和挑战。在此基础上,对GAN的未来发展方向进行了简要总结。第6节提供结束语。

成为VIP会员查看完整内容
47

相关内容

专知会员服务
47+阅读 · 2021年6月12日
专知会员服务
94+阅读 · 2021年2月6日
最新《生成式对抗网络GAN逆转》综述论文,22页pdf
专知会员服务
39+阅读 · 2021年1月19日
生成对抗网络GAN在各领域应用研究进展(中文版),37页pdf
专知会员服务
150+阅读 · 2020年12月30日
最新《生成式对抗网络GAN时空数据应用》综述论文,28pdf
生成对抗网络GAN的发展与最新应用
专知会员服务
126+阅读 · 2020年8月13日
关于GANs在医学图像领域应用的总结
计算机视觉life
13+阅读 · 2019年7月25日
GAN最新进展:8大技巧提高稳定性
新智元
7+阅读 · 2019年2月12日
生成对抗网络的最新研究进展
AI科技评论
5+阅读 · 2019年2月6日
【学界】GANs最新综述论文: 生成式对抗网络及其变种如何有用
GAN生成式对抗网络
30+阅读 · 2019年1月5日
生成对抗网络的研究进展与趋势
中国计算机学会
35+阅读 · 2018年11月14日
GAN猫的脸
机械鸡
11+阅读 · 2017年7月8日
GFlowNet Foundations
Arxiv
9+阅读 · 2021年11月17日
Arxiv
19+阅读 · 2021年1月14日
Arxiv
6+阅读 · 2018年11月29日
VIP会员
微信扫码咨询专知VIP会员