《深度潜变量模型的编码视角》博士论文,154页pdf阐述深度潜变量模型(DLVM)中的统计推理与编码的关系

2021 年 1 月 22 日 专知

https://dare.uva.nl/search?identifier=2d6e0b96-90d3-4683-bbbe-00d2a7f1dd54


在我的论文“深度潜变量模型的编码视角”中,我们讨论了深度潜变量模型(DLVM)中的统计推理与编码的关系。


特别地,我们检查最小欺骗长度(MDL)原则作为统计推断的指南。在此背景下,我们探讨它与贝叶斯推理的关系。我们将看到,尽管两者都会导致类似的算法,但MDL原则允许我们对数据生成过程不做任何假设。我们只是把自己限制在从观测数据中寻找规律性,而规律性与压缩能力有关。因此,我们发现学习DLVM等价于最小化通信(压缩)一组观察数据的成本。一种常见的沟通方法是发送一个假设(或模型),随后数据与上述模型不匹配。这就是所谓的两部分码。在本论文中,我们将主要关注所谓的贝叶斯码——一种理论上比两部分码更有效的码。


与直觉相反的是,贝叶斯推理方法允许我们在不知道编码或编码方案的情况下计算编码长度。本文的目的就是通过开发相应的编码方案来缩小这一差距。我们将在MDL原则的启发和指导下,寻找达到MDL所预测的代码长度的代码。特别关注的是可微函数,更准确地说,是通过大量高维数据学习的深度神经网络。我们将通过MDL原理来研究模型压缩和源压缩。



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“DLVC” 可以获取《深度潜变量模型的编码视角》博士论文,154页pdf阐述深度潜变量模型(DLVM)中的统计推理与编码的关系专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
0

相关内容

【哥伦比亚大学博士论文】深度概率图建模147页pdf
专知会员服务
88+阅读 · 2021年4月27日
【经典书】信息论与统计: 教程,116页pdf
专知会员服务
59+阅读 · 2021年3月27日
【Nature】贝叶斯统计与建模综述,26页pdf
专知会员服务
76+阅读 · 2021年1月21日
【TAMU】最新《时间序列分析》课程笔记,527页pdf
专知会员服务
180+阅读 · 2020年9月12日
最新《生成式对抗网络数学导论》,30页pdf
专知会员服务
78+阅读 · 2020年9月3日
最新《因果推断导论: 从机器学习视角》新书稿,132页pdf
专知会员服务
274+阅读 · 2020年8月25日
【ICML2020-哈佛】深度语言表示中可分流形
专知会员服务
12+阅读 · 2020年6月2日
最新《图理论》笔记书,98页pdf
专知
51+阅读 · 2020年12月27日
最新《图嵌入组合优化》综述论文,40页pdf
【干货书】计算机科学离散数学,627页pdf
专知
61+阅读 · 2020年8月31日
【ICML2020】对比多视角表示学习
专知
19+阅读 · 2020年6月28日
An Attentive Survey of Attention Models
Arxiv
44+阅读 · 2020年12月15日
Star-Transformer
Arxiv
5+阅读 · 2019年2月28日
A Probe into Understanding GAN and VAE models
Arxiv
9+阅读 · 2018年12月13日
Music Transformer
Arxiv
5+阅读 · 2018年12月12日
Arxiv
5+阅读 · 2017年12月29日
VIP会员
相关VIP内容
【哥伦比亚大学博士论文】深度概率图建模147页pdf
专知会员服务
88+阅读 · 2021年4月27日
【经典书】信息论与统计: 教程,116页pdf
专知会员服务
59+阅读 · 2021年3月27日
【Nature】贝叶斯统计与建模综述,26页pdf
专知会员服务
76+阅读 · 2021年1月21日
【TAMU】最新《时间序列分析》课程笔记,527页pdf
专知会员服务
180+阅读 · 2020年9月12日
最新《生成式对抗网络数学导论》,30页pdf
专知会员服务
78+阅读 · 2020年9月3日
最新《因果推断导论: 从机器学习视角》新书稿,132页pdf
专知会员服务
274+阅读 · 2020年8月25日
【ICML2020-哈佛】深度语言表示中可分流形
专知会员服务
12+阅读 · 2020年6月2日
相关论文
An Attentive Survey of Attention Models
Arxiv
44+阅读 · 2020年12月15日
Star-Transformer
Arxiv
5+阅读 · 2019年2月28日
A Probe into Understanding GAN and VAE models
Arxiv
9+阅读 · 2018年12月13日
Music Transformer
Arxiv
5+阅读 · 2018年12月12日
Arxiv
5+阅读 · 2017年12月29日
Top
微信扫码咨询专知VIP会员