会员服务
交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。语言模型的性能通常用交叉熵和复杂度（perplexity）来衡量。交叉熵的意义是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码。
一文总览由信息论中“熵”引申出来的各种距离/差异度量
一文总览由信息论中“熵”引申出来的各种距离/差异度量
PaperWeekly
0+阅读 · 2022年11月18日
一篇文章讲清楚交叉熵和KL散度
一篇文章讲清楚交叉熵和KL散度
PaperWeekly
1+阅读 · 2022年11月11日
NeurIPS 2022 | 稀疏且鲁棒的预训练语言模型
NeurIPS 2022 | 稀疏且鲁棒的预训练语言模型
PaperWeekly
0+阅读 · 2022年11月11日
ICML 2022 | 基于Logit归一化的置信度校准方法
ICML 2022 | 基于Logit归一化的置信度校准方法
PaperWeekly
0+阅读 · 2022年8月12日
CIKM2022 | CROLoss: 一种推荐系统中检索模型的可定制损失函数
CIKM2022 | CROLoss: 一种推荐系统中检索模型的可定制损失函数
机器学习与推荐算法
2+阅读 · 2022年8月10日
如何训练你的准确率？
如何训练你的准确率？
PaperWeekly
0+阅读 · 2022年6月8日
WWW2022 | 基于交叉成对排序的无偏推荐算法
WWW2022 | 基于交叉成对排序的无偏推荐算法
机器学习与推荐算法
0+阅读 · 2022年4月20日
识别形式语言能力不足，不完美的Transformer要克服自注意力的理论缺陷
识别形式语言能力不足，不完美的Transformer要克服自注意力的理论缺陷
机器之心
1+阅读 · 2022年4月13日
GPLinker：基于GlobalPointer的实体关系联合抽取
GPLinker：基于GlobalPointer的实体关系联合抽取
PaperWeekly
2+阅读 · 2022年3月3日
浅谈LabelSmooth两种实现及推导
浅谈LabelSmooth两种实现及推导
极市平台
0+阅读 · 2021年12月12日
一位算法工程师 6 万字总结算法面试中的深度学习基础问题（上）
一位算法工程师 6 万字总结算法面试中的深度学习基础问题（上）
极市平台
0+阅读 · 2021年11月8日
两概率分布交叉熵的最小值是多少？
两概率分布交叉熵的最小值是多少？
PaperWeekly
0+阅读 · 2021年11月6日
将对比学习扩展到监督式场景
将对比学习扩展到监督式场景
TensorFlow
1+阅读 · 2021年7月20日
全监督语义分割训练新范式「像素对比学习」，苏黎世联邦理工等出品
全监督语义分割训练新范式「像素对比学习」，苏黎世联邦理工等出品
机器之心
0+阅读 · 2021年2月23日
根据标签分布来选择损失函数
根据标签分布来选择损失函数
极市平台
0+阅读 · 2020年12月3日
参考链接
微信扫码咨询专知VIP会员
Top