【CIKM2020】持续域自适应的机器阅读理解，Continual Domain Adaptation

机器阅读理解(MRC)已经成为各种自然语言处理(NLP)应用(如问题回答和对话系统)的核心组件。在非平稳环境下，底层数据分布会随时间变化，MRC模型需要在这种环境下学习，这就成为了一个实际的挑战。一个典型的场景是域漂移，即不同的数据域一个接一个的出现，MRC模型需要在保持原有学习能力的同时适应新的域。为了应对这一挑战，在本研究中，我们引入了MRC的持续域适应(CDA)任务。据我们所知，这是第一个关于MRC持续学习视角的研究。我们为CDA任务建立了两个基准数据集，分别根据上下文类型和问题类型将现有的MRC集合重新组织到不同的域中。然后我们分析和观察了CDA设置下MRC的灾难性遗忘现象。为了解决CDA任务，我们提出了几个基于BERT的持续学习MRC模型，这些模型使用基于规则的方法论或动态架构范式。我们分析了不同的连续学习MRC模型在CDA任务下的性能，表明所提出的基于动态架构的模型取得了最好的性能。

https://arxiv.org/abs/2008.10874