将知识引入到依靠数据驱动的人工智能模型中是实现人机混合智能的一种重要途径。当前以BERT为代表的预训练模型在自然语言处理领域取得了显著的成功,但是由于预训练模型大多是在大规模非结构化的语料数据上训练出来的,因此可以通过引入外部知识在一定程度上弥补其在确定性和可解释性上的缺陷。该文针对预训练词嵌入和预训练上下文编码器两个预训练模型的发展阶段,分析了它们的特点和缺陷,阐述了知识增强的相关概念,提出了预训练词嵌入知识增强的分类方法,将其分为四类:词嵌入改造、层次化编解码过程、优化注意力和引入知识记忆。将预训练上下文编码器的知识增强方法分为任务特定和任务通用两大类,并根据引入知识的显隐性对其中任务通用的知识增强方法进行了进一步的细分。该文通过分析预训练模型知识增强方法的类型和特点,为实现人机混合的人工智能提供了模式和算法上的参考依据。

成为VIP会员查看完整内容
61

相关内容

人大最新《基于Transformer 的视频语言预训练》综述论文
专知会员服务
44+阅读 · 2021年9月27日
专知会员服务
49+阅读 · 2021年9月25日
专知会员服务
59+阅读 · 2021年5月28日
专知会员服务
68+阅读 · 2021年5月21日
知识增强的文本生成研究进展
专知会员服务
96+阅读 · 2021年3月6日
专知会员服务
112+阅读 · 2020年12月9日
多模态视觉语言表征学习研究综述
专知会员服务
185+阅读 · 2020年12月3日
专知会员服务
29+阅读 · 2020年9月18日
最新《多任务学习》综述,39页pdf
专知会员服务
258+阅读 · 2020年7月10日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
最新《多任务学习》综述,39页pdf
专知
26+阅读 · 2020年7月10日
【论文笔记】NLP 预训练模型综述
深度学习自然语言处理
8+阅读 · 2020年5月14日
自然语言处理常识推理综述论文,60页pdf
专知
69+阅读 · 2019年4月4日
最新论文解读 | 基于预训练自然语言生成的文本摘要方法
微软研究院AI头条
57+阅读 · 2019年3月19日
学会原创 | 自然语言的语义表示学习方法与应用
中国人工智能学会
11+阅读 · 2019年3月7日
自然语言处理中注意力机制综述
AINLP
27+阅读 · 2019年1月21日
通过预训练提升语言理解
开放知识图谱
4+阅读 · 2018年11月21日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
Arxiv
0+阅读 · 2021年10月3日
Arxiv
22+阅读 · 2020年9月16日
Compression of Deep Learning Models for Text: A Survey
Visualizing and Measuring the Geometry of BERT
Arxiv
7+阅读 · 2019年10月28日
Arxiv
3+阅读 · 2018年5月28日
VIP会员
相关VIP内容
人大最新《基于Transformer 的视频语言预训练》综述论文
专知会员服务
44+阅读 · 2021年9月27日
专知会员服务
49+阅读 · 2021年9月25日
专知会员服务
59+阅读 · 2021年5月28日
专知会员服务
68+阅读 · 2021年5月21日
知识增强的文本生成研究进展
专知会员服务
96+阅读 · 2021年3月6日
专知会员服务
112+阅读 · 2020年12月9日
多模态视觉语言表征学习研究综述
专知会员服务
185+阅读 · 2020年12月3日
专知会员服务
29+阅读 · 2020年9月18日
最新《多任务学习》综述,39页pdf
专知会员服务
258+阅读 · 2020年7月10日
相关资讯
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
最新《多任务学习》综述,39页pdf
专知
26+阅读 · 2020年7月10日
【论文笔记】NLP 预训练模型综述
深度学习自然语言处理
8+阅读 · 2020年5月14日
自然语言处理常识推理综述论文,60页pdf
专知
69+阅读 · 2019年4月4日
最新论文解读 | 基于预训练自然语言生成的文本摘要方法
微软研究院AI头条
57+阅读 · 2019年3月19日
学会原创 | 自然语言的语义表示学习方法与应用
中国人工智能学会
11+阅读 · 2019年3月7日
自然语言处理中注意力机制综述
AINLP
27+阅读 · 2019年1月21日
通过预训练提升语言理解
开放知识图谱
4+阅读 · 2018年11月21日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
微信扫码咨询专知VIP会员