We propose the characteristic generator, a novel one-step generative model that combines the efficiency of sampling in Generative Adversarial Networks (GANs) with the stable performance of flow-based models. Our model is driven by characteristics, along which the probability density transport can be described by ordinary differential equations (ODEs). Specifically, we first estimate the underlying velocity field and use the Euler method to solve the probability flow ODE, generating discrete approximations of the characteristics. A deep neural network is then trained to fit these characteristics, creating a one-step map that pushes a simple Gaussian distribution to the target distribution. In the theoretical aspect, we provide a comprehensive analysis of the errors arising from velocity matching, Euler discretization, and characteristic fitting to establish a non-asymptotic convergence rate in the 2-Wasserstein distance under mild data assumptions. Crucially, we demonstrate that under a standard manifold assumption, this convergence rate depends only on the intrinsic dimension of data rather than the much larger ambient dimension, proving our model's ability to mitigate the curse of dimensionality. To our knowledge, this is the first rigorous convergence analysis for a flow-based one-step generative model. Experiments on both synthetic and real-world datasets demonstrate that the characteristic generator achieves high-quality and high-resolution sample generation with the efficiency of just a single neural network evaluation.


翻译:我们提出特征生成器,这是一种新颖的一步生成模型,它结合了生成对抗网络(GANs)的采样效率与基于流的模型的稳定性能。我们的模型由特征驱动,沿着这些特征,概率密度输运可以用常微分方程(ODEs)描述。具体而言,我们首先估计底层速度场,并使用欧拉方法求解概率流ODE,从而生成特征的离散近似。随后训练一个深度神经网络来拟合这些特征,创建一个一步映射,将简单的高斯分布推送到目标分布。在理论方面,我们对速度匹配、欧拉离散化和特征拟合所产生的误差进行了全面分析,以在温和的数据假设下建立2-Wasserstein距离中的非渐近收敛速率。关键的是,我们证明在标准的流形假设下,该收敛速率仅取决于数据的内在维度,而非更大的环境维度,这证明了我们的模型能够缓解维度灾难。据我们所知,这是对基于流的一步生成模型的首次严格收敛性分析。在合成和真实数据集上的实验表明,特征生成器仅需一次神经网络评估的效率,即可实现高质量和高分辨率的样本生成。

0
下载
关闭预览

相关内容

【ICML2024】基于正则化的持续学习的统计理论
专知会员服务
21+阅读 · 2024年6月11日
【NeurIPS2021】序一致因果图的多任务学习
专知会员服务
20+阅读 · 2021年11月7日
专知会员服务
12+阅读 · 2021年6月20日
专知会员服务
82+阅读 · 2021年5月10日
【NeurIPS2020】可处理的反事实推理的深度结构因果模型
专知会员服务
49+阅读 · 2020年9月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2025年12月31日
Arxiv
0+阅读 · 2025年12月30日
Arxiv
0+阅读 · 2025年12月29日
VIP会员
相关VIP内容
【ICML2024】基于正则化的持续学习的统计理论
专知会员服务
21+阅读 · 2024年6月11日
【NeurIPS2021】序一致因果图的多任务学习
专知会员服务
20+阅读 · 2021年11月7日
专知会员服务
12+阅读 · 2021年6月20日
专知会员服务
82+阅读 · 2021年5月10日
【NeurIPS2020】可处理的反事实推理的深度结构因果模型
专知会员服务
49+阅读 · 2020年9月28日
相关资讯
【NeurIPS2019】图变换网络:Graph Transformer Network
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关论文
Arxiv
0+阅读 · 2025年12月31日
Arxiv
0+阅读 · 2025年12月30日
Arxiv
0+阅读 · 2025年12月29日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员