Laplace-type results characterize the limit of sequence of measures $(\pi_\varepsilon)_{\varepsilon >0}$ with density w.r.t the Lebesgue measure $(\mathrm{d} \pi_\varepsilon / \mathrm{d} \mathrm{Leb})(x) \propto \exp[-U(x)/\varepsilon]$ when the temperature $\varepsilon>0$ converges to $0$. If a limiting distribution $\pi_0$ exists, it concentrates on the minimizers of the potential $U$. Classical results require the invertibility of the Hessian of $U$ in order to establish such asymptotics. In this work, we study the particular case of norm-like potentials $U$ and establish quantitative bounds between $\pi_\varepsilon$ and $\pi_0$ w.r.t. the Wasserstein distance of order $1$ under an invertibility condition of a generalized Jacobian. One key element of our proof is the use of geometric measure theory tools such as the coarea formula. We apply our results to the study of maximum entropy models (microcanonical/macrocanonical distributions) and to the convergence of the iterates of the Stochastic Gradient Langevin Dynamics (SGLD) algorithm at low temperatures for non-convex minimization.


翻译:Laplace 类型结果的特征是,当温度(pizävarepsilon) = varepsilon>0美元接近于 $美元时, 度量序列的限度值为 $( pipävarepsilon) = 0 美元。 如果存在限制分配 $\ pi_0美元, 则集中在潜在值的最小值上。 典型结果要求赫斯格对美元不可逆性, 以建立这样的设置。 在这项工作中, 我们研究类似于标准的可能性[U(x) /\ varepsilon] 的具体案例, 并在 $\ varepsilon > 0美元接近于 $.r. t。 如果存在限制分配 $\ pi_0 美元, 则集中在最小值的值分配值上, 将潜在值的美元 。 典型结果要求赫斯堪称的赫斯堪比值为美元, 用于 普遍化的 SG 模型的精确度 。

0
下载
关闭预览

相关内容

【2021新书】高阶网络,150页pdf,Higher-Order Networks
专知会员服务
87+阅读 · 2021年11月26日
专知会员服务
42+阅读 · 2020年12月18日
专知会员服务
50+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
已删除
将门创投
3+阅读 · 2019年1月29日
Arxiv
0+阅读 · 2021年12月21日
Arxiv
0+阅读 · 2021年12月17日
VIP会员
相关资讯
已删除
将门创投
3+阅读 · 2019年1月29日
Top
微信扫码咨询专知VIP会员