【MIT】时间序列GAN，Subadditivity of Probability Divergences

时间序列数据的GANs通常使用滑动窗口或自我注意力来捕获底层的时间依赖关系。虽然这些技术没有明确的理论依据，但它们成功地大幅减小了判别器的尺寸，加快了训练过程，提高了生成质量。本文给出了时间序列数据等由贝叶斯网络捕获的具有条件独立结构的高维分布的广义统计分析的理论基础和实践框架。我们证明了几个概率发散满足关于贝叶斯网络图邻域的次可加性性质，给出了两个贝叶斯网络之间距离的一个上界，这个上界是图上每个邻域上它们的边缘距离之和。这就引出了我们提出的次加性GAN框架，该框架在Bayes-net的邻近区域使用一组简单的判别器，而不是在整个网络上使用一个巨大的鉴别器，从而提供了显著的统计和计算优势。我们证明了包括Jensen-Shannon, Total Variation, 和Wasserstein在内的几个概率距离具有次加性或广义次加性。此外，我们还证明了积分概率矩阵(IPMs)在某些温和条件下也具有次可加性。此外，我们证明了几乎所有的f-发散都满足局部次加性，当分布相对接近时，局部次加性保持不变。我们在合成数据集和真实数据集上的实验验证了所提出的理论和次加性GANs的优点。