We introduce a notion called entropic independence that is an entropic analog of spectral notions of high-dimensional expansion. Informally, entropic independence of a background distribution $\mu$ on $k$-sized subsets of a ground set of elements says that for any (possibly randomly chosen) set $S$, the relative entropy of a single element of $S$ drawn uniformly at random carries at most $O(1/k)$ fraction of the relative entropy of $S$. Entropic independence is the analog of the notion of spectral independence, if one replaces variance by entropy. We use entropic independence to derive tight mixing time bounds, overcoming the lossy nature of spectral analysis of Markov chains on exponential-sized state spaces. In our main technical result, we show a general way of deriving entropy contraction, a.k.a. modified log-Sobolev inequalities, for down-up random walks from spectral notions. We show that spectral independence of a distribution under arbitrary external fields automatically implies entropic independence. To derive our results, we relate entropic independence to properties of polynomials: $\mu$ is entropically independent exactly when a transformed version of the generating polynomial of $\mu$ is upper bounded by its linear tangent; this property is implied by concavity of the said transformation, which was shown by prior work to be locally equivalent to spectral independence. We apply our results to obtain tight modified log-Sobolev inequalities and mixing times for multi-step down-up walks on fractionally log-concave distributions. As our flagship application, we establish the tight mixing time of $O(n\log n)$ for Glauber dynamics on Ising models whose interaction matrix has eigenspectrum lying within an interval of length smaller than $1$, improving upon the prior quadratic dependence on $n$.


翻译:我们引入了一个名为“ 盎然独立” 的概念, 这个概念是高维扩张的光谱概念的共振类比。 非正式地说, 一个背景分布 $\ mu$ 的共振独立性, 以美元为基数, 以美元为基数, 任何( 可能随机选择) 都设定了美元S$, 一个单一元素的相对共值的共振性, 以随机携带最多为O( 1/k), 以美元为基数, 以美元为基数。 共振独立性是光谱独立的概念, 以美元为基数, 以美元为基数, 以美元为基数, 以美元为基数, 以美元为基数, 以美元为基数, 以美元为基数, 以美元为基数, 以美元为基数, 以美元为基数, 以美元为基数, 以美元为基数为基数, 以直线, 以美元为基数为基数, 的内, 以直线线独立货币为基数, 以美元为基数为基数为基数为基数,, 以内,以内,以内,以美元为基数为基数为基数为基数为基数为基数为基数为基数为基数为基数为基数,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内为基数为基数,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,以内,

0
下载
关闭预览

相关内容

专知会员服务
41+阅读 · 2020年12月18日
【干货书】机器学习速查手册,135页pdf
专知会员服务
122+阅读 · 2020年11月20日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
76+阅读 · 2020年7月26日
因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
专知会员服务
158+阅读 · 2020年1月16日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
8+阅读 · 2018年12月28日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2022年1月10日
Arxiv
0+阅读 · 2022年1月10日
Arxiv
0+阅读 · 2022年1月10日
Arxiv
4+阅读 · 2018年1月15日
VIP会员
相关资讯
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
8+阅读 · 2018年12月28日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Top
微信扫码咨询专知VIP会员