【EMNLP2019教程】分布式词向量表示,附239页PPT下载

2019 年 11 月 13 日 专知

导读

当前,分布式词向量已经成为NLP模型必不可少的一部分。基于潜在分布假设,分布式词向量,融合了各种聚合型和组合型的词汇语义关系。比如,基于分布式向量空间距离的主题关联,经常不能区分诸如同义词、相似词(car-automobile)或者词义蕴含(car-vehicle)等这些关系。由于不同的词汇语义关系支持不同的NLP应用,所以分布式空间的内在属性通常会影响下游应用的表现。如语义相似性为意译、对话状态跟踪和文本简化提供了指导,词义蕴涵支持自然语言推理和分类归纳,而更加广泛的主题关联则有助于命名实体识别、文本分类以及检索等任务。


在该教程中,作者对分布式词向量的语义特定化(Semantic Specialization of Distributional Word Vectors)方法进行了全面的概述,包括以下几点:1)joint specialization 方法,利用外部语言约束来增强分布式学习的目标。2)post-processing retrofitting模型:微调预训练的分布式词向量,以便更好地反映外部语言约束。3)最新提出的post-specialization方法,能够将2)中的post-processing方法扰动推广到整个分布式空间。




目录


  1. 介绍与动机:分布式特征模型,词汇关系,外部资源,信息互补等。(20min,lvan)

  2. 对于语义相似性的专门化方法:相似性,关联度以及其他关系等。(45min,lvan)

  3. 对于LE和其他关系的专门化方法:词义蕴含的专门化方法,在向量空间中嵌入层次结构等。(35min,Goran)

  4. 专门化方法的跨语义迁移:对于目标语言专门化的不同方法,支持资源贫乏语言的词汇资源建设等。(25min,Goran)

  5. 对于上下文表征模型的专门化:LIBERT,K-BERT,ERNIEs等(45min,Edoardo)

  6. 挑战,开放问题与结论(10min,Edoardo)



完整PPT下载:

请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“EMNLP2019DRM” 就可以获取本文完整PPT下载链接~ 


完整PPT下载:

请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“EMNLP2019DRM” 就可以获取本文完整PPT下载链接~ 


更多关于“分布式词向量”的论文知识资料,请登录专知网站www.zhuanzhi.ai,查看:

https://www.zhuanzhi.ai/topic/2001473347629013/paper




-END-
专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,或者点击“阅读原文”使用,获取更多AI知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识资料和与专家交流咨询
请加专知小助手微信(扫一扫如下二维码添加), 获取专知VIP会员码 ,加入专知人工智能主题群,咨询技术商务合作~
点击“阅读原文”,注册使用专知
登录查看更多
20

相关内容

【斯坦福CS520】向量空间中嵌入的知识图谱推理,48页ppt
专知会员服务
101+阅读 · 2020年6月11日
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
少标签数据学习,54页ppt
专知会员服务
198+阅读 · 2020年5月22日
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
212+阅读 · 2020年4月26日
【Facebook AI】低资源机器翻译,74页ppt
专知会员服务
29+阅读 · 2020年4月8日
【教程】自然语言处理中的迁移学习原理,41 页PPT
专知会员服务
95+阅读 · 2020年2月8日
WSDM 2020教程《深度贝叶斯数据挖掘》,附257页PPT下载
专知会员服务
156+阅读 · 2020年2月7日
【EMNLP2019教程】端到端学习对话人工智能,附237页PPT下载
专知会员服务
69+阅读 · 2019年11月25日
基于深度学习的文本生成【附217页PPT下载】
专知
35+阅读 · 2018年11月24日
Arxiv
35+阅读 · 2020年1月2日
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Arxiv
6+阅读 · 2019年8月22日
Embedding Logical Queries on Knowledge Graphs
Arxiv
3+阅读 · 2019年2月19日
Arxiv
27+阅读 · 2018年4月12日
Arxiv
10+阅读 · 2018年3月22日
VIP会员
相关VIP内容
【斯坦福CS520】向量空间中嵌入的知识图谱推理,48页ppt
专知会员服务
101+阅读 · 2020年6月11日
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
少标签数据学习,54页ppt
专知会员服务
198+阅读 · 2020年5月22日
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
212+阅读 · 2020年4月26日
【Facebook AI】低资源机器翻译,74页ppt
专知会员服务
29+阅读 · 2020年4月8日
【教程】自然语言处理中的迁移学习原理,41 页PPT
专知会员服务
95+阅读 · 2020年2月8日
WSDM 2020教程《深度贝叶斯数据挖掘》,附257页PPT下载
专知会员服务
156+阅读 · 2020年2月7日
【EMNLP2019教程】端到端学习对话人工智能,附237页PPT下载
专知会员服务
69+阅读 · 2019年11月25日
Top
微信扫码咨询专知VIP会员