交叉熵(Cross Entropy)是Shannon信息论中一个重要概念,主要用于度量两个概率分布间的差异性信息。语言模型的性能通常用交叉熵和复杂度(perplexity)来衡量。交叉熵的意义是用该模型对文本识别的难度,或者从压缩的角度来看,每个词平均要用几个位来编码。
JoSE:球面上的词向量和句向量
PaperWeekly
0+阅读 · 2019年12月2日
简单的交叉熵损失函数,你真的懂了吗?
极市平台
1+阅读 · 2020年11月25日
CVPR2020 | 用有噪声的学生网络进行自我训练提高ImageNet分类
计算机视觉战队
2+阅读 · 2020年3月30日
AI初识:深度学习中常用的损失函数有哪些?
极市平台
0+阅读 · 2019年8月10日
线性分类知识(下)
计算机视觉战队
1+阅读 · 2018年8月9日
深入理解计算机视觉中的损失函数
极市平台
1+阅读 · 2020年6月9日
AI初识:深度学习中常用的损失函数有哪些?
极市平台
1+阅读 · 2019年8月10日
从最优化的角度看待 Softmax 损失函数
极市平台
31+阅读 · 2019年2月21日
深度学习面试100题(第41-45题)
七月在线实验室
15+阅读 · 2018年7月18日
细说语义分割,不只是画个边框那么简单
论智
19+阅读 · 2018年5月22日
GPLinker:基于GlobalPointer的实体关系联合抽取
PaperWeekly
2+阅读 · 2022年3月3日
参考链接
微信扫码咨询专知VIP会员