We study whether and how can we model a joint distribution $p(x,z)$ using two conditional models $p(x|z)$ and $q(z|x)$ that form a cycle. This is motivated by the observation that deep generative models, in addition to a likelihood model $p(x|z)$, often also use an inference model $q(z|x)$ for data representation, but they rely on a usually uninformative prior distribution $p(z)$ to define a joint distribution, which may render problems like posterior collapse and manifold mismatch. To explore the possibility to model a joint distribution using only $p(x|z)$ and $q(z|x)$, we study their compatibility and determinacy, corresponding to the existence and uniqueness of a joint distribution whose conditional distributions coincide with them. We develop a general theory for novel and operable equivalence criteria for compatibility, and sufficient conditions for determinacy. Based on the theory, we propose the CyGen framework for cyclic-conditional generative modeling, including methods to enforce compatibility and use the determined distribution to fit and generate data. With the prior constraint removed, CyGen better fits data and captures more representative features, supported by experiments showing better generation and downstream classification performance.


翻译:我们研究的是,我们是否以及如何用形成周期的两个条件模型来模拟联合分发美元(x,z)美元(美元)和美元(z)美元(z)美元(美元),其动机是,我们研究的是,除了一个可能性模型(x,z)美元之外,深基因模型还经常使用一个假设模型($(x,z)美元)来模拟联合分发美元(p)美元(x,z)美元(美元),但对于数据代表而言,这些模型依赖通常不提供信息的事先未经通知的分发美元(z)美元来定义联合分发,这可能造成后期崩溃和多重不匹配等问题。探索仅使用美元(x)美元和美元(z)美元来模拟联合分发的可能性。我们研究的是,除了一个可能的模型(x)美元(x,z)美元之外,深基因模型还经常使用一种假设模型(q)美元(q)美元(z)美元)来模拟联合分发美元(x,但是它们依赖一种通常没有信息的未经改进的事先分发前分配标准(z)美元(z)来界定联合分发,从而界定联合分发,这可能会造成诸如后期崩溃和多重不匹配的基因基因变错的问题。为了探索,我们建议C-质模型框架,包括执行兼容性和更精确的计算模型的方法,我们研究如何执行兼容性和使用更精确性模型,并用的方法,并用更精确的计算方法,并用更精确的计算方法,并用更精确的计算方法,并用更精确的计算方法,并显示更精确的分类的计算方法,并用更精确的数据。

2
下载
关闭预览

相关内容

因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
Gartner:2020年十大战略性技术趋势, 47页pdf
专知会员服务
76+阅读 · 2020年3月10日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年9月1日
Generating Fact Checking Explanations
Arxiv
9+阅读 · 2020年4月13日
Arxiv
8+阅读 · 2019年2月15日
Arxiv
4+阅读 · 2018年5月21日
Arxiv
5+阅读 · 2018年5月1日
Arxiv
10+阅读 · 2018年3月23日
VIP会员
相关资讯
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员