Test

# TestWhat Regularized Auto-Encoders Learn from the Data-Generating Distribution

AE从底层的数据生成分布学到了什么？

最近的工作显示，AE变体能够很好的获得数据的局部流形结构。

本文解释了这些观察，通过展示，最小化一个特定形式的正则化重建误差，可以得到局部描述数据生成密度形状的重构函数。本文指出AE学到了分数（输入数据log密度的导数）。

这与之前把重建损失视为能量函数的解释相矛盾。与之前的结果不同，该理论是通用的，不依赖于AE的参数的：他们展示了如果给足够的算力和样本AE会学到什么。

这些结果都是针对压缩训练准则的近似于降噪AE的训练规则，而且压缩不仅仅是作用于encoder，作用于整个函数的。和score matching类似，可以把训练准则视为最大似然估计的替代，因为他不涉及分配函数。

最后，我们展示了一个近似于Metropolis-Hastings MCMC 的方法，可以被用于恢复样本的分布，但是是用采样实验来证明的。

1.Introduction

2.Contractive and Denoising Auto-Encoders

文章首先从降噪AE出发，推导出重构对于高斯噪声，最后重建成什么东西。

Theorem 1

在定理一的基础上，文章通过泰勒展开，推导了命题一。

Proposition 1