信息理论的鼻祖之一Claude E. Shannon把信息(熵)定义为离散随机事件的出现概率。所谓信息熵,是一个数学上颇为抽象的概念,在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。
一篇文章讲清楚交叉熵和KL散度
PaperWeekly
1+阅读 · 2022年11月11日
Nature封面:城里人为什么容易路痴?
新智元
0+阅读 · 2022年4月7日
通过AI技术研究网红对其粉丝的消费品牌意识的影响
凡人机器学习
0+阅读 · 2020年11月6日
浅谈主动学习(Active Learning)
凡人机器学习
31+阅读 · 2020年6月18日
[BTTB] 信息论,语言模型,压缩闲谈
AINLP
1+阅读 · 2020年4月26日
CVPR 2020 | IR-Net: 信息保留的二值神经网络
AI科技评论
0+阅读 · 2020年3月30日
信息爆炸时代,我们每天应该看什么?
人人都是产品经理
0+阅读 · 2020年3月26日
参考链接
微信扫码咨询专知VIP会员