【EMNLP2019教程】分布式词向量表示,附239页PPT下载

导读

当前,分布式词向量已经成为NLP模型必不可少的一部分。基于潜在分布假设,分布式词向量,融合了各种聚合型和组合型的词汇语义关系。比如,基于分布式向量空间距离的主题关联,经常不能区分诸如同义词、相似词(car-automobile)或者词义蕴含(car-vehicle)等这些关系。由于不同的词汇语义关系支持不同的NLP应用,所以分布式空间的内在属性通常会影响下游应用的表现。如语义相似性为意译、对话状态跟踪和文本简化提供了指导,词义蕴涵支持自然语言推理和分类归纳,而更加广泛的主题关联则有助于命名实体识别、文本分类以及检索等任务。


在该教程中,作者对分布式词向量的语义特定化(Semantic Specialization of Distributional Word Vectors)方法进行了全面的概述,包括以下几点:1)joint specialization 方法,利用外部语言约束来增强分布式学习的目标。2)post-processing retrofitting模型:微调预训练的分布式词向量,以便更好地反映外部语言约束。3)最新提出的post-specialization方法,能够将2)中的post-processing方法扰动推广到整个分布式空间。




目录


  1. 介绍与动机:分布式特征模型,词汇关系,外部资源,信息互补等。(20min,lvan)

  2. 对于语义相似性的专门化方法:相似性,关联度以及其他关系等。(45min,lvan)

  3. 对于LE和其他关系的专门化方法:词义蕴含的专门化方法,在向量空间中嵌入层次结构等。(35min,Goran)

  4. 专门化方法的跨语义迁移:对于目标语言专门化的不同方法,支持资源贫乏语言的词汇资源建设等。(25min,Goran)

  5. 对于上下文表征模型的专门化:LIBERT,K-BERT,ERNIEs等(45min,Edoardo)

  6. 挑战,开放问题与结论(10min,Edoardo)



完整PPT下载:

请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“EMNLP2019DRM” 就可以获取本文完整PPT下载链接~ 


完整PPT下载:

请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“EMNLP2019DRM” 就可以获取本文完整PPT下载链接~ 


更多关于“分布式词向量”的论文知识资料,请登录专知网站www.zhuanzhi.ai,查看:

https://www.zhuanzhi.ai/topic/2001473347629013/paper




-END-
专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,或者点击“阅读原文”使用,获取更多AI知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识资料和与专家交流咨询
请加专知小助手微信(扫一扫如下二维码添加), 获取专知VIP会员码 ,加入专知人工智能主题群,咨询技术商务合作~
点击“阅读原文”,注册使用专知
展开全文
Top
微信扫码咨询专知VIP会员