We consider a generic class of log-concave, possibly random, (Gibbs) measures. We prove the concentration of an infinite family of order parameters called multioverlaps. Because they completely parametrise the quenched Gibbs measure of the system, this implies a simple representation of the asymptotic Gibbs measures, as well as the decoupling of the variables in a strong sense. These results may prove themselves useful in several contexts. In particular in machine learning and high-dimensional inference, log-concave measures appear in convex empirical risk minimisation, maximum a-posteriori inference or M-estimation. We believe that they may be applicable in establishing some type of "replica symmetric formulas" for the free energy, inference or generalisation error in such settings.


翻译:我们考虑的是一种一般的对数分类,可能是随机的( Gibbs) 度量。 我们证明了一个叫作多重叠的无穷无穷的顺序参数的集中。 由于它们完全修复了系统被消灭的Gibbs 度量,这意味着简单地描述无穷的Gibs 度量,以及从强烈的意义上将变量脱钩。 这些结果在几种情况下可能证明是有用的。 特别是在机器学习和高维的推论中,对数的测算措施出现在 convex 经验性风险最小化、 最大异性推断或 M- 估计中。 我们认为,它们可能适用于在这种环境下为自由能源、 推论 或 概括错误 建立某种“ 复制性对称公式 ” 。

0
下载
关闭预览

相关内容

专知会员服务
113+阅读 · 2020年10月8日
因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
已删除
将门创投
7+阅读 · 2018年4月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Arxiv
0+阅读 · 2021年2月15日
VIP会员
相关资讯
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
已删除
将门创投
7+阅读 · 2018年4月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Top
微信扫码咨询专知VIP会员