在数学统计中,Kullback-Leibler散度(也称为相对熵)是衡量一个概率分布与第二个参考概率分布有何不同的一种度量。应用包括表征信息系统中的相对(香农)熵,连续时间序列中的随机性以及比较推论的统计模型时的信息增益。在简单的情况下,Kullback-Leibler散度为0表示所讨论的两个分布是相同的。 简而言之,它具有各种应用,例如应用统计,流体力学,神经科学和机器学习。
参考链接
微信扫码咨询专知VIP会员