论文浅尝 | 基于动态记忆的原型网络进行元学习以实现少样本事件探测

本文转载自公众号：浙大KG。 

---

论文题目：Meta-Learning with Dynamic-Memory-Based Prototypical Network for Few-Shot Event Detection

本文作者：邓淑敏，浙江大学在读博士，研究方向为低资源条件下知识图谱自动化构建关键技术研究

发表会议：WSDM 2020

论文链接：https://arxiv.org/abs/1910.11621

FewEvent数据集链接: https://github.com/231sm/Low_Resource_KBP

    事件抽取（EE）是一项旨在从非结构化文本中提取结构事件信息的任务，它可以 分两个子任务： 事件检测（event detection）与元素抽取（argument extraction） 。事件检测需要找到事件描述文本中的触发词，并将其对应到指定的事件类型，元素抽取需要找到事件的参与元素，并划分它们在事件中扮演的角色。本文基于目前事件抽取数据集的稀疏问题，以及考虑到现实世界中的新事件层出不穷，重新审视了事件检测任务。在元学习的设置下，将事件检测建模成少样本学习任务（遵循N-Way-K-Shot的实验设定），称之为少样本事件检测（FSED）。

图1: 模型架构

本文提出了一个基于动态记忆的原型网络（DMB-PN），该网络利用动态记忆网络（DMN）为事件学习更好的原型，模型架构如上图所示。传统的原型网络简单地通过平均计算事件描述（event mention）文本的编码来表示事件原型，这样的做法只会用一次event mention的编码。考虑到每个事件的样本比较少，我们希望尽可能多地利用样本的信息，因此区别于传统的原型网络，DMB-PN整合了DMN，会多次从event mention中提取上下文信息，也就是说DMB-PN会多次使用event mention的编码，并且进行记忆存储和更新。我们分别在固定事件类别数N的设置下进行K-Shot的评估，以及在固定每个事件类样本数K的设置下进行N-Way的评估。实验表明，DMB-PN不仅比原型网络处理样本稀疏性的性能更好，而且在类型数目增多和样本数目减少的时候性能更加稳定。

此外，动态记忆网络还用于学习模型中的事件原型和句子编码。具体来说，我们在典型的DMN模块中使用触发词作为问题来产生存储向量，从而产生对触发词更敏感的句子编码。由于DMN的多跳机制，使得它更有利于充分利用事件实例，因此基于DMN的模型在句子编码方面更健壮，特别是在少样本场景中。

部分实验结果如下所示：

表1: 5-Way-X-Shot的实验结果比较

表2: 10-Way-X-Shot的实验结果比较

图2: X-Way-15-Shot的实验结果比较

总而言之，这篇文章研究工作的主要贡献是：

（1）正式定义和提出“少样本事件检测”的新问题，并生成了一个专门针对该问题名为FewEvent的新数据集；

（2）提出了一个基于动态记忆的原型网络的新框架DMB-PN，该框架利用动态记忆网络不仅可以为事件类型学习更好的原型，还可以为事件描述文本生成更健壮的句子编码；

（3）实验表明，与记忆机制集成的原型网络的性能优于一系列的传统模型，特别是当事件类型的种类相对较多且样本数量非常少时，这是因为它具有从事件实例中多次提取上下文信息的能力。

如果对本文的工作感兴趣，欢迎大家阅读原文，也欢迎大家和我们交流。

 

---

 

OpenKG

开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文，进入 OpenKG 博客。