摘要
我们研究了生成对抗网络(GAN),它的流行变体和在许多领域的应用。GAN利用零和博弈理论将两个相互对抗的神经网络结合起来,使它们能够产生更加清晰和离散的输出。GAN可用于执行图像处理、视频生成和预测,以及其他计算机视觉应用。GAN还可用于各种科学相关活动,包括蛋白质工程、天文数据处理、遥感图像去雾和晶体结构合成。GANs还在金融、营销、时尚设计、体育和音乐等领域取得了成绩。因此,在本文中,我们全面概述了GAN在各种学科中的应用。我们首先介绍支持GAN的理论、GAN变体和评估GAN的指标。然后,我们将介绍GAN及其变体如何应用于十二个领域,从STEM领域,如天文学和生物学,到商业领域,如市场营销和金融,以及艺术,如音乐。因此,其他领域的研究人员可以掌握GAN的工作原理,并将其应用到自己的研究中。就我们所知,本文对GAN在不同领域的应用进行了最全面的综述。
https://arxiv.org/abs/2110.01442
引言
生成对抗网络[48]或GAN属于生成模型[44]家族。生成模型试图从训练集中学习一个概率密度函数,然后从相同的分布中生成新的样本。GAN通过让两个神经网络(Generator和Discriminator)相互竞争,生成与真实数据相似的新合成数据。Generator试图捕获真实的数据分布,以生成新的样本。另一方面,鉴别器通常是一个二进制分类器,它试图尽可能精确地辨别真实和虚假生成的样本。
在过去的几年里,GANs取得了实质性的进展。由于硬件的进步,我们现在可以训练更深入和更复杂的Generator和Discriminator神经网络体系结构,增加模型容量。GAN与其他类型的生成模型相比有许多明显的优势。与玻尔兹曼机[62]不同,GAN不需要蒙特卡罗近似来训练,而且GAN使用反向传播,不需要马尔可夫链。近年来,GAN得到了很大的发展,并被广泛应用于各种学科,可以使用gan的领域列表也在快速扩展。GAN可用于数据生成和增强([78],[134])、图像到图像的转换([70],[197])、图像超分辨率([93],[73])等等。正是这种多用途的特性,使得GAN可以应用于医学和天文学等完全不结盟的领域。
由于GANs非常受欢迎和重要,已经有一些关于GANs的调查和评论。然而,过去的大多数论文都集中在两个不同的方面: 第一,描述GAN及其随时间的增长,第二,讨论GAN在图像处理和计算机视觉应用中的应用([47],[3],[135],[51],[1])。因此,对GAN在广泛学科中的应用的描述较少。因此,我们将在这篇史无前例的文章中全面回顾GAN。我们来看看GANs和一些最广泛使用的模型和变异,以及评价指标的数量,GAN应用在不同的12个区域(包括图片和视频相关的任务,医疗和医疗、生物学、天文学、遥感、材料科学、金融、市场营销、时尚、体育和音乐), GAN的挑战和局限性,以及GAN未来的发展方向。本文的一些主要贡献如下:
描述GAN在工程、科学、社会科学、商业、艺术、音乐和体育领域的广泛应用。据我们所知,这是第一篇涵盖GAN在如此不同领域应用的综述论文。这篇综述将有助于不同背景的研究人员理解GAN的操作,并发现其广泛的应用。
GAN评估包括定性和定量方法。该综述提供了定量指标的全面展示,用于评估GAN在计算机视觉和时间序列数据分析中的性能。我们将GAN应用于时间序列数据的评估指标包括在内,这在其他GAN综述论文中没有讨论。据我们所知,这是第一份提出GAN时间序列数据评价指标的调研报告。
我们将本文的其余部分组织如下:第2节介绍GAN的基本工作,以及最常用的GAN变体及其描述。第3节总结了一些常用的GAN评估指标。第4节描述了GAN在各种领域的广泛应用。我们还在每个小节的末尾提供了一个表格,总结了应用领域和使用的相应的GAN模型。第5节讨论了GANs训练过程中遇到的一些困难和挑战。在此基础上,对GAN的未来发展方向进行了简要总结。第6节提供结束语。