最新《生成式对抗网络GAN时空数据应用》综述论文，28pdf

2020 年 8 月 21 日 专知

GAN在时空数据应用综述论文

在计算机视觉领域，对抗网络(GANs)在生成逼真图像方面取得了巨大的成功。最近，基于GAN的技术在基于时空的应用如轨迹预测、事件生成和时间序列数据估算中显示出了良好的前景。虽然在计算机视觉中对GANs提出了一些评论，但没有人考虑解决与时空数据相关的实际应用和挑战。在这篇文章中，我们对GANs在时空数据方面的最新发展进行了全面的回顾。我们总结了在时空数据中流行的GAN架构，以及用GANs评估时空应用程序性能的常见做法。最后，提出了未来的研究方向，希望能对相关研究者有所帮助。

https://arxiv.org/abs/2008.08903

概述：

时空属性在交通运输(shao2017travel)、社会科学(kupilik2018spatio)、犯罪学(rumi2019crime)等各个领域都很常见，其中，传感器和大数据的激增迅速改变了时空属性。大量的时空(ST)数据需要适当的处理技术来建立有效的应用。通常，处理表格数据或图形数据的传统方法在应用于时空数据集时表现不佳。原因主要有三层(wang2019deep): (1) ST数据通常是连续空间，而表或图数据往往是离散的; (2) ST数据通常同时具有空间和时间属性，其中数据相关性较复杂，传统技术难以捕捉; (3) ST数据具有高度的自相关性，通常不像传统数据那样独立生成数据样本。

随着深度学习的普及，许多神经网络(如卷积神经网络(CNN) (krizhevsky2012imagenet)，递归神经网络(RNN) (mikolov2010recurrent)， Autoencoder (AE) (hinton2006 reduce)，图卷积网络 (GCN) (kipf2016gcn))被提出并在ST数据建模方面取得了显著的成功。ST数据的深度学习之所以被广泛采用，是因为它在层次特征工程能力方面显示出了潜力。在本次调研中，我们关注的是深度学习领域最有趣的突破之一——生成对抗网络(GANs) (goodfellow2014generate)及其在ST数据方面的潜在应用。

GAN是一种对抗学习生成真实数据的生成模型。它由两个组件(goodfellow2014)组成:generator G和discriminator D。G捕获数据分布并从潜在变量z生成真实数据，D估计来自真实数据空间的数据概率。GAN采用了零和非合作博弈的概念，其中G和D被训练为相互竞争，直到达到纳什均衡。GAN在各领域获得了相当大的关注,包括图像(例如,图像翻译(isola2017image)超分辨率(ledig2017photo),联合图像生成(liu2016coupled),对象检测(ehsani2018segan),改变面部属性(donahue2017semantically))、视频(例如,视频一代(vondrick2016generating)),自然语言处理(例如,文本生成(lin2017adversarial),文本图像(zhang2017stackgan))。

然而，直接使用图像或视频生成并不适用于ST数据的建模，如交通流、区域降雨和行人轨迹。一方面，图像生成通常考虑输入和输出图像之间的外观，不能充分处理空间变化。另一方面，视频生成考虑了图像间的空间动态，但是，当对下一幅图像的预测高度依赖于前一幅图像时，时间变化没有得到充分考虑(saxena2019d)。因此，将GANs成功应用于ST数据需要探索新的方法。

最近，GANs开始应用于ST数据。GANs在ST数据上的应用主要包括生成去识别的时空事件(saxena2019d);jin2019crime)，时间序列归责(luo2018multivariate;，轨迹预测(gupta2018;kosaraju2019)，图表示 (wang2018;bojchevski2018)等。尽管GANs在计算机视觉领域取得了成功，但将GANs应用于ST数据预测具有挑战性(saxena2019d)。例如，利用额外的信息，如景点(PoI)，天气信息在以前的研究中仍然是未触及的。此外，与研究者可以依靠对生成的实例进行可视化检查的图像不同，GANs对ST数据的评估仍然是一个未解决的问题。在ST数据上采用传统的GAN评价指标(saxena2019d;esteban2017real)。

一些研究回顾了最近关于ST数据或GAN在不同领域的应用问题的文献。与从传统关系数据挖掘模式相比，建模ST数据特别具有挑战性，因为除了实际测量之外，它还具有空间和时间属性。Atluri等人(atluri2018spatio)回顾了ST数据建模的流行问题和方法。提供了不同类型ST数据的分类、定义和描述数据实例的方法，以确定实际应用程序中任何类型ST数据的相关问题。他们还列出了通常研究的ST问题，并回顾了处理不同ST类型的独特属性的问题。Want等人(wang2019deep)回顾了将深度学习应用于ST数据挖掘任务的最新进展，并提出了一个利用深度学习模型解决ST数据建模问题的流程。Hong等人(hong2019生成)从不同的角度解释了GANs，并列举了常用的用于多任务的GAN变体。在(pan2019recent)中讨论了GANs的最新进展，Wang et al. (wang2019生)提出了一种用于计算机视觉领域的GANs分类。特别是，Yi等人(yi2019生)回顾了GANs在医学成像中的最新进展。

然而，上述工作回顾了ST数据建模问题或GANs在计算机视觉领域的最新进展。尽管许多研究者(saxena2019d;esteban2017real;gupta2018social;luo20192;已经用GANs对ST数据进行建模，在这个领域还没有相关的调查来解决在ST数据应用中使用GANs的潜力。本文第一次全面概述了ST数据中的GANs，描述了GANs有希望的应用，并确定了在不同ST相关任务中成功应用尚需解决的一些挑战。