机器阅读理解(MRC)已经成为各种自然语言处理(NLP)应用(如问题回答和对话系统)的核心组件。在非平稳环境下,底层数据分布会随时间变化,MRC模型需要在这种环境下学习,这就成为了一个实际的挑战。一个典型的场景是域漂移,即不同的数据域一个接一个的出现,MRC模型需要在保持原有学习能力的同时适应新的域。为了应对这一挑战,在本研究中,我们引入了MRC的持续域适应(CDA)任务。据我们所知,这是第一个关于MRC持续学习视角的研究。我们为CDA任务建立了两个基准数据集,分别根据上下文类型和问题类型将现有的MRC集合重新组织到不同的域中。然后我们分析和观察了CDA设置下MRC的灾难性遗忘现象。为了解决CDA任务,我们提出了几个基于BERT的持续学习MRC模型,这些模型使用基于规则的方法论或动态架构范式。我们分析了不同的连续学习MRC模型在CDA任务下的性能,表明所提出的基于动态架构的模型取得了最好的性能。
https://arxiv.org/abs/2008.10874
专知便捷查看
便捷下载,请关注专知公众号(点击上方蓝色专知关注)
后台回复“CDA” 就可以获取《【CIKM2020】持续域自适应的机器阅读理解,Continual Domain Adaptation》专知下载链接