回顾 | 跟李沐一起动手学深度学习第十六课:词向量(word2vec)

2018 年 1 月 22 日 机器学习研究会

本文为1月20日(周六)上午将门联合亚马逊AI主任科学家李沐博士:从零开始入门深度学习第十六的内容回顾,继续亚马逊应用科学家Aston Zhang为大家带来。


随着深度学习的广泛应用,词向量(word embedding)已逐渐成为自然语言处理的基础知识。本课以word2vec为例,着重介绍了两套模型:跳字模型(Skip-gram)和连续词袋模型(CBOW),以及两套高效训练法:负采样(Negative sampling)和层序softmax(Hierarchical softmax)。

获取完整回顾视频>>关注“将门创投”(thejiangmen)微信公众号,回复“第十六课”获取下载链接。




转自:将门创投


完整内容请点击“阅读原文”

登录查看更多
11

相关内容

分散式表示即将语言表示为稠密、低维、连续的向量。 研究者最早发现学习得到词嵌入之间存在类比关系。比如apple−apples ≈ car−cars, man−woman ≈ king – queen 等。这些方法都可以直接在大规模无标注语料上进行训练。词嵌入的质量也非常依赖于上下文窗口大小的选择。通常大的上下文窗口学到的词嵌入更反映主题信息,而小的上下文窗口学到的词嵌入更反映词的功能和上下文语义信息。
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
172+阅读 · 2020年5月6日
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
212+阅读 · 2020年4月26日
深度学习自然语言处理概述,116页ppt,Jiří Materna
专知会员服务
79+阅读 · 2020年3月10日
【新书】傻瓜式入门深度学习,371页pdf
专知会员服务
187+阅读 · 2019年12月28日
【课程推荐】普林斯顿陈丹琦COS 484: 自然语言处理课程
专知会员服务
82+阅读 · 2019年12月11日
斯坦福&谷歌Jeff Dean最新Nature论文:医疗深度学习技术指南
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
复旦大学邱锡鹏老师《神经网络与深度学习》书册最新版
干货|自然语言处理中的词向量 — word2vec!
全球人工智能
7+阅读 · 2018年1月25日
已删除
将门创投
4+阅读 · 2018年1月19日
回顾 | 跟李沐一起动手学深度学习第十课:语义分割
机器学习研究会
6+阅读 · 2017年11月27日
已删除
将门创投
5+阅读 · 2017年11月20日
【回顾】PyTorch 简介
AI研习社
8+阅读 · 2017年10月29日
已删除
将门创投
3+阅读 · 2017年10月27日
已删除
将门创投
3+阅读 · 2017年10月12日
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Neural Approaches to Conversational AI
Arxiv
8+阅读 · 2018年12月13日
Arxiv
22+阅读 · 2018年8月30日
Arxiv
10+阅读 · 2018年3月22日
Arxiv
4+阅读 · 2015年8月25日
VIP会员
相关VIP内容
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
172+阅读 · 2020年5月6日
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
212+阅读 · 2020年4月26日
深度学习自然语言处理概述,116页ppt,Jiří Materna
专知会员服务
79+阅读 · 2020年3月10日
【新书】傻瓜式入门深度学习,371页pdf
专知会员服务
187+阅读 · 2019年12月28日
【课程推荐】普林斯顿陈丹琦COS 484: 自然语言处理课程
专知会员服务
82+阅读 · 2019年12月11日
斯坦福&谷歌Jeff Dean最新Nature论文:医疗深度学习技术指南
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
复旦大学邱锡鹏老师《神经网络与深度学习》书册最新版
相关资讯
干货|自然语言处理中的词向量 — word2vec!
全球人工智能
7+阅读 · 2018年1月25日
已删除
将门创投
4+阅读 · 2018年1月19日
回顾 | 跟李沐一起动手学深度学习第十课:语义分割
机器学习研究会
6+阅读 · 2017年11月27日
已删除
将门创投
5+阅读 · 2017年11月20日
【回顾】PyTorch 简介
AI研习社
8+阅读 · 2017年10月29日
已删除
将门创投
3+阅读 · 2017年10月27日
已删除
将门创投
3+阅读 · 2017年10月12日
相关论文
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Neural Approaches to Conversational AI
Arxiv
8+阅读 · 2018年12月13日
Arxiv
22+阅读 · 2018年8月30日
Arxiv
10+阅读 · 2018年3月22日
Arxiv
4+阅读 · 2015年8月25日
Top
微信扫码咨询专知VIP会员