作者丨张倬胜
学校丨上海交通大学硕士生
研究方向丨自然语言理解
论文地址:https://arxiv.org/abs/1909.02209
开源代码:https://github.com/cooelf/SemBERT
机器阅读理解的目标是教会机器学习并理解人类语言、像人一样思考与交流,是深度学习促进自然语言处理的研究和工程应用后兴起的实用性任务。机器阅读理解融合了文本上的知识表达、语义理解和一定程度上基于知识的推理等一系列挑战。
上下文表示是文本理解的核心模块,最新基于大规模预训练的深度语言模型有效集成了语境化特征,在大量的自然语言处理任务上获得巨大的成功,尤其是在各种机器阅读理解和自然语言推理任务。
然而,许多研究者发现当前许多机器阅读理解模型未能“真正”地理解语义信息,在一些人类易懂的题目上机器容易犯错。现有的语言表示模型(包括 ELMO、GPT、BERT、XLNet 等),只利用了简单的上下文特征,如字符或子词嵌入,缺乏对结构化语言学信息的考虑,而这些信息可以为语言表达提供丰富的语义和结构化知识,构建更加精确的文本表征。
为了增强自然语言理解,本文提出通过预训练的语义角色标注模型引入显式的上下文语义标签信息,并引入一种改进的语言表示模型——语义感知 BERT (SemBERT),它能够在 BERT 为基础的骨架网络上,显性地融合上下文语义信息。SemBERT 保持了 BERT 的易用性,只需进行适应性的微调,而无需对特定任务进行大幅度的模型修改。
与 BERT 相比,SemBERT 在概念上同样简单,但性能却更为强大。SemBERT 在 10 项自然语言理解任务上显著地提升了基准模型,甚至达到了最佳的水平。
▲ SemBERT模型架构
SemBERT 模型包括三个部分:
1)语义角色标注器,用于对文本进行标注,给输入的句子标注谓词-论元结构(词级别);
2)序列编码模块,其中使用预训练的语言模型构建输入原始文本的向量表示,通过 CNN 将子词级表示重构为词级别实现与标签对齐;同时,将语义角色标签向量化,构建语义标签向量表示;
3)语义集成模块,用于将文本表示与语义标签向量表示集成融合,以获得可用于下游任务的联合表示。
▲ SemBERT输入数据结构
1. 语义角色标注
语义角色标注(SRL)旨在发现句子的谓词-论元结构。它以句子的谓词为中心,分析句子中各成分与谓词之间的关系,即句子的谓词(Predicate)- 论元(Argument)结构。
谓词是对主语的陈述或说明,指出“做什么”、“是什么”或“怎么样,代表了一个事件的核心,跟谓词搭配的名词称为论元。语义角色是指论元在动词所指事件中担任的角色。主要有:施事者(Agent)、受事者(Patient)、客体(Theme)、经验者(Experiencer)、受益者(Beneficiary)、工具(Instrument)、处所(Location)、目标(Goal)和来源(Source)等。
例如:对于文本 {reconstructing dormitories will not be approved by cavanaugh},由于包含 2 个谓词,因此对应 2 个谓词-论元结构序列。
[ARG1: reconstructing dormitories] [ARGM-MOD: will] [ARGM-NEG: not] be [V: approved] [ARG0: by cavanaugh]
[V: reconstructing] [ARG1: dormitories] will not be approved by cavanaugh}
▲ GLUE实验结果
▲ SQuAD实验结果
▲ SNLI实验结果
点击以下标题查看更多期内容:
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学习心得或技术干货。我们的目的只有一个,让知识真正流动起来。
📝 来稿标准:
• 稿件确系个人原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)
• 如果文章并非首发,请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发,均会添加“原创”标志
📬 投稿邮箱:
• 投稿邮箱:hr@paperweekly.site
• 所有文章配图,请单独在附件中发送
• 请留下即时联系方式(微信或手机),以便我们在编辑发布时和作者沟通
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。
▽ 点击 | 阅读原文 | 下载论文 & 源码