以ELMO (Peters et al., 2018)、GPT (Radford et al., 2018)和BERT (Devlin et al., 2019)为代表的预训练语言模型受到了广泛关注,并提出了大量的变体模型。在这些研究中,一些研究人员致力于将知识引入语言模型(Levine et al., 2019; Lauscher et al., 2019; Liu et al., 2019; Zhang et al., 2019b)。ERNIE-Baidu (Sun et al., 2019)引入新的掩蔽单元,如短语和实体,在这些掩蔽单元中学习知识信息。作为奖励,来自短语和实体的语法和语义信息被隐式地集成到语言模型中。此外,ERNIE-Tsinghua (Zhang et al., 2019a)探索了一种不同的知识信息,将知识图谱整合到BERT中,同时学习词汇、句法和知识信息。Xiong et al. (2019) 将实体替换检查任务引入到预先训练的语言模型中,并改进若干与实体相关的下游任务,如问答和实体类型。Wang et al.(2020)提出了一种将知识注入语言模型的插件方式,他们的方法将不同种类的知识保存在不同的适配器中。这些方法所引入的知识信息并没有很重视KG中图表化的知识。

http://web.stanford.edu/class/cs224n/index.html#schedule

成为VIP会员查看完整内容
60

相关内容

【斯坦福CS224N硬核课】 问答系统,陈丹琦讲解,79页ppt
专知会员服务
72+阅读 · 2021年2月23日
专知会员服务
36+阅读 · 2021年2月22日
【斯坦福CS224W】知识图谱推理,84页ppt
专知会员服务
119+阅读 · 2021年2月19日
专知会员服务
65+阅读 · 2021年2月17日
专知会员服务
58+阅读 · 2021年2月16日
少即是多?非参数语言模型,68页ppt
专知会员服务
23+阅读 · 2020年11月22日
【ST2020硬核课】深度神经网络,57页ppt
专知会员服务
45+阅读 · 2020年8月19日
【ST2020硬核课】深度学习即统计学习,50页ppt
专知会员服务
65+阅读 · 2020年8月17日
只知道CS224N?斯坦福最新推出NLU公开课CS224U
机器之心
3+阅读 · 2019年6月20日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
深度上下文词向量
微信AI
27+阅读 · 2018年9月13日
Arxiv
0+阅读 · 2021年4月29日
Arxiv
6+阅读 · 2019年9月4日
Arxiv
6+阅读 · 2019年7月11日
Arxiv
5+阅读 · 2017年9月8日
VIP会员
相关VIP内容
【斯坦福CS224N硬核课】 问答系统,陈丹琦讲解,79页ppt
专知会员服务
72+阅读 · 2021年2月23日
专知会员服务
36+阅读 · 2021年2月22日
【斯坦福CS224W】知识图谱推理,84页ppt
专知会员服务
119+阅读 · 2021年2月19日
专知会员服务
65+阅读 · 2021年2月17日
专知会员服务
58+阅读 · 2021年2月16日
少即是多?非参数语言模型,68页ppt
专知会员服务
23+阅读 · 2020年11月22日
【ST2020硬核课】深度神经网络,57页ppt
专知会员服务
45+阅读 · 2020年8月19日
【ST2020硬核课】深度学习即统计学习,50页ppt
专知会员服务
65+阅读 · 2020年8月17日
微信扫码咨询专知VIP会员