We construct a 2-categorical extension of the relative entropy functor of Baez and Fritz, and show that our construction is functorial with respect to vertical morphisms. Moreover, we show such a `2-relative entropy' satisfies natural 2-categorial analogues of convex linearity, vanishing under optimal hypotheses, and lower semicontinuity. While relative entropy is a relative measure of information between probability distributions, we view our construction as a relative measure of information between channels.


翻译:我们建造了Baez和Fritz的相对酶真菌配方的2类延伸,并表明我们的构造与垂直形态相对是相对的。此外,我们展示了这种“2-反应酶”符合相近线性、在最佳假设下消失和半连续性较低的自然2类类比。相对的酶是概率分布之间信息的相对量度,但我们认为我们的构造是不同频道之间信息的相对量度。

0
下载
关闭预览

相关内容

相对熵(relative entropy),又被称为Kullback-Leibler散度(Kullback-Leibler divergence)或信息散度(information divergence),是两个概率分布(probability distribution)间差异的非对称性度量。在在信息理论中,相对熵等价于两个概率分布的信息熵(Shannon entropy)的差值.
最新《自监督表示学习》报告,70页ppt
专知会员服务
86+阅读 · 2020年12月22日
专知会员服务
19+阅读 · 2020年9月6日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
Python计算导论,560页pdf,Introduction to Computing Using Python
专知会员服务
76+阅读 · 2020年5月5日
【入门】PyTorch文本分类
深度学习自然语言处理
8+阅读 · 2020年2月2日
一文读懂命名实体识别
人工智能头条
33+阅读 · 2019年3月29日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2022年2月9日
VIP会员
相关VIP内容
最新《自监督表示学习》报告,70页ppt
专知会员服务
86+阅读 · 2020年12月22日
专知会员服务
19+阅读 · 2020年9月6日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
Python计算导论,560页pdf,Introduction to Computing Using Python
专知会员服务
76+阅读 · 2020年5月5日
相关资讯
【入门】PyTorch文本分类
深度学习自然语言处理
8+阅读 · 2020年2月2日
一文读懂命名实体识别
人工智能头条
33+阅读 · 2019年3月29日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员