《深度潜变量模型的编码视角》博士论文，154页pdf阐述深度潜变量模型(DLVM)中的统计推理与编码的关系

在我的论文“深度潜变量模型的编码视角”中，我们讨论了深度潜变量模型(DLVM)中的统计推理与编码的关系。

特别地，我们检查最小欺骗长度(MDL)原则作为统计推断的指南。在此背景下，我们探讨它与贝叶斯推理的关系。我们将看到，尽管两者都会导致类似的算法，但MDL原则允许我们对数据生成过程不做任何假设。我们只是把自己限制在从观测数据中寻找规律性，而规律性与压缩能力有关。因此，我们发现学习DLVM等价于最小化通信(压缩)一组观察数据的成本。一种常见的沟通方法是发送一个假设(或模型)，随后数据与上述模型不匹配。这就是所谓的两部分码。在本论文中，我们将主要关注所谓的贝叶斯码——一种理论上比两部分码更有效的码。

与直觉相反的是，贝叶斯推理方法允许我们在不知道编码或编码方案的情况下计算编码长度。本文的目的就是通过开发相应的编码方案来缩小这一差距。我们将在MDL原则的启发和指导下，寻找达到MDL所预测的代码长度的代码。特别关注的是可微函数，更准确地说，是通过大量高维数据学习的深度神经网络。我们将通过MDL原理来研究模型压缩和源压缩。