【港科大Yunfei Yang博士论文】生成式对抗网络的分布学习:近似与泛化

我们研究生成对抗网络(GAN)如何很好地学习有限样本的概率分布，通过分析这些模型的收敛速度。我们的分析基于一个新的oracle不等式，该不等式将GAN的估计误差分解为鉴别器和发生器的逼近误差、泛化误差和优化误差。为了估计鉴别器逼近误差，我们建立了用ReLU神经网络逼近Hölder函数的误差界，并给出了网络的Lipschitz常数的显式上界或权值的范数约束。对于发生器逼近误差，我们证明了神经网络可以将低维源分布近似转化为高维目标分布，并通过神经网络的宽度和深度约束这种逼近误差。结合统计学习理论中神经网络的泛化边界和近似结果，我们建立了GANs在各种设置下的收敛速度，当误差由Hölder类定义的积分概率度量集合测量时，包括Wasserstein距离作为一种特殊情况。特别地，对于集中在低维集合周围的分布，我们证明了GANs的收敛速度不依赖于高的环境维数，而是依赖于较低的本征维数。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“LDGAN” 就可以获取《【港科大Yunfei Yang博士论文】生成式对抗网络的分布学习:近似与泛化》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料