在数学统计中,Kullback-Leibler散度(也称为相对熵)是衡量一个概率分布与第二个参考概率分布有何不同的一种度量。应用包括表征信息系统中的相对(香农)熵,连续时间序列中的随机性以及比较推论的统计模型时的信息增益。在简单的情况下,Kullback-Leibler散度为0表示所讨论的两个分布是相同的。 简而言之,它具有各种应用,例如应用统计,流体力学,神经科学和机器学习。
AI初识:深度学习中常用的损失函数有哪些?
极市平台
0+阅读 · 2019年8月10日
AI初识:深度学习中常用的损失函数有哪些?
极市平台
1+阅读 · 2019年8月10日
教程 | 如何理解KL散度的不对称性
机器之心
1+阅读 · 2018年3月1日
2021届校招算法岗知识点总结
AINLP
0+阅读 · 2020年11月23日
5种数据同分布的检测方法!
THU数据派
2+阅读 · 2021年2月22日
参考链接
微信扫码咨询专知VIP会员