The $\alpha$-divergences include the well-known Kullback-Leibler divergence, Hellinger distance and $\chi^2$-divergence. In this paper, we derive differential and integral relations between the $\alpha$-divergences that are generalizations of the relation between the Kullback-Leibler divergence and the $\chi^2$-divergence. We also show tight lower bounds for the $\alpha$-divergences under given means and variances. In particular, we show a necessary and sufficient condition such that the binary divergences, which are divergences between probability measures on the same $2$-point set, always attain lower bounds. Kullback-Leibler divergence, Hellinger distance, and $\chi^2$-divergence satisfy this condition.


翻译:$\ alpha$- divegence 包括众所周知的 Kullback- Leverer 差异、 Hellinger 距离和 $\chi ⁇ 2$- divegence 。 在本文中,我们在 Kullback- Leiber 差异和 $\ chi ⁇ 2$- divegence 之间的关系上产生了差异和整体关系。 我们还显示出在给定手段和差异下 $\ alphaback- Lebel 差异的严格下限。 特别是, 我们显示出一个必要和充分的条件, 即二进制差异, 即同一两分点的概率计量之间的差异, 总是达到较低的界限。 Kullback- Leber 差异、 Hellinger 距离和 $\ chi2$- divegence 满足了这一条件 。

0
下载
关闭预览

相关内容

迁移学习简明教程,11页ppt
专知会员服务
109+阅读 · 2020年8月4日
专知会员服务
63+阅读 · 2020年3月4日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员