【新书】自然语言处理嵌入:语义向量表示理论与进展,从Word2Vec到BERT,163页pdf

2020 年 4 月 4 日 专知

【导读】嵌入向量( embedding)是一项广受欢迎的技术,有着众多应用。最近来自撰写了《Embeddings in Natural Language Processing Theory and Advances in Vector Representation of Meaning》,共163页pdf,该书首先解释了传统的词向量空间模型和词嵌入(如Word2Vec和GloVe),然后介绍了其他类型的嵌入,如语意、句子和文档以及图形嵌入。我们还概述了上下文化表示(如ELMo、BERT)的最新发展状况,并解释了它们在NLP中的潜力。值得关注。



自2010年代早期以来,嵌入一直是自然语言处理(NLP)的流行词汇之一。将信息编码为低维向量表示,在现代机器学习算法中很容易得到集成,这在NLP的发展中起到了核心作用。嵌入技术最初集中在单词上,但很快注意力开始转向其他形式:从图形结构(如知识库),转向其他类型的文本内容(如句子和文档)。


这本书提供了一个高层次NLP嵌入技术的综述。该书首先解释了传统的词向量空间模型和词嵌入(如Word2Vec和GloVe),然后介绍了其他类型的嵌入,如语意、句子和文档以及图形嵌入。我们还概述了上下文化表示(如ELMo、BERT)的最新发展状况,并解释了它们在NLP中的潜力。



 在第二章,我们提供了一些基本的NLP和机器学习应用于语言问题的背景知识。然后,简要介绍了词汇语义中常用的一些主要的知识资源。


第3章讨论了单词表示,从传统的基于可数的模型的简要概述开始,接着是最近的基于预测的和基于字符的嵌入。在同一章中,我们还描述了一些专门用于嵌入的技术,例如跨语言单词嵌入,以及单词表示的通用评估方法。


第4章讨论了嵌入结构化知识资源的各种技术,特别是语义图。我们将概述最近的主要方法对于图的嵌入,并总结其应用和评价。


在第5章中,我们重点讨论了单词的个别含义的表示,即:文字意义。讨论了两类意义表示(无监督的和基于知识的),然后讨论了这类表示的评价技术。


第六章是关于上下文嵌入的最新分支。在本章中,我们首先解释这种嵌入的必要性,然后描述主要的模型以及它们如何与语言模型相联系。在同一章中,我们还介绍了解释和分析上下文模型有效性的一些工作。


第7章超越了单词的层次,描述了如何将句子和文档编码成向量表示。我们介绍了一些著名的监督和非监督技术,并讨论了这些表示的应用和评估方法。


第8章解释了最近讨论的词嵌入的一些伦理问题和固有偏见。本章还介绍了消除词嵌入的一些建议。


最后,在第九章中,我们提出了结束语和开放式研究的挑战。


http://josecamachocollados.com/book_embNLP_draft.pdf


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“ENLP” 就可以获取【新书】自然语言处理嵌入:语义向量表示理论与进展,从Word2Vec到BERT,163页pdf》新书专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
22

相关内容

临床自然语言处理中的嵌入综述,SECNLP: A survey of embeddings
专知会员服务
198+阅读 · 2020年3月6日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
基于深度学习的NLP 32页最新进展综述,190篇参考文献
人工智能学家
27+阅读 · 2018年12月4日
一文了解自然语言处理神经史
云栖社区
11+阅读 · 2018年12月2日
自然语言处理(NLP)前沿进展报告
人工智能学家
20+阅读 · 2018年9月30日
2017深度学习NLP进展与趋势
云栖社区
7+阅读 · 2017年12月17日
字词的向量表示
黑龙江大学自然语言处理实验室
4+阅读 · 2016年6月13日
Arxiv
29+阅读 · 2020年3月16日
Arxiv
6+阅读 · 2019年9月25日
Arxiv
15+阅读 · 2019年9月11日
Arxiv
6+阅读 · 2019年7月11日
A Probe into Understanding GAN and VAE models
Arxiv
9+阅读 · 2018年12月13日
Arxiv
5+阅读 · 2017年10月27日
VIP会员
相关资讯
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
基于深度学习的NLP 32页最新进展综述,190篇参考文献
人工智能学家
27+阅读 · 2018年12月4日
一文了解自然语言处理神经史
云栖社区
11+阅读 · 2018年12月2日
自然语言处理(NLP)前沿进展报告
人工智能学家
20+阅读 · 2018年9月30日
2017深度学习NLP进展与趋势
云栖社区
7+阅读 · 2017年12月17日
字词的向量表示
黑龙江大学自然语言处理实验室
4+阅读 · 2016年6月13日
相关论文
Arxiv
29+阅读 · 2020年3月16日
Arxiv
6+阅读 · 2019年9月25日
Arxiv
15+阅读 · 2019年9月11日
Arxiv
6+阅读 · 2019年7月11日
A Probe into Understanding GAN and VAE models
Arxiv
9+阅读 · 2018年12月13日
Arxiv
5+阅读 · 2017年10月27日
Top
微信扫码咨询专知VIP会员