【CIKM2020】持续域自适应的机器阅读理解,Continual Domain Adaptation

2020 年 8 月 26 日 专知




机器阅读理解(MRC)已经成为各种自然语言处理(NLP)应用(如问题回答和对话系统)的核心组件。在非平稳环境下,底层数据分布会随时间变化,MRC模型需要在这种环境下学习,这就成为了一个实际的挑战。一个典型的场景是域漂移,即不同的数据域一个接一个的出现,MRC模型需要在保持原有学习能力的同时适应新的域。为了应对这一挑战,在本研究中,我们引入了MRC的持续域适应(CDA)任务。据我们所知,这是第一个关于MRC持续学习视角的研究。我们为CDA任务建立了两个基准数据集,分别根据上下文类型和问题类型将现有的MRC集合重新组织到不同的域中。然后我们分析和观察了CDA设置下MRC的灾难性遗忘现象。为了解决CDA任务,我们提出了几个基于BERT的持续学习MRC模型,这些模型使用基于规则的方法论或动态架构范式。我们分析了不同的连续学习MRC模型在CDA任务下的性能,表明所提出的基于动态架构的模型取得了最好的性能。

https://arxiv.org/abs/2008.10874

专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“CDA” 就可以获取【CIKM2020】持续域自适应的机器阅读理解,Continual Domain Adaptation》专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资料
登录查看更多
3

相关内容

包括微软、CMU、Stanford在内的顶级人工智能专家和学者们正在研究更复杂的任务:让机器像人类一样阅读文本,进而根据对该文本的理解来回答问题。这种阅读理解就像是让计算机来做我们高考英语的阅读理解题。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
近期必读的六篇 ICML 2020【域自适应】相关论文
专知会员服务
46+阅读 · 2020年9月29日
专知会员服务
29+阅读 · 2020年9月18日
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
61+阅读 · 2020年5月25日
【ACL2020-Allen AI】预训练语言模型中的无监督域聚类
专知会员服务
23+阅读 · 2020年4月7日
专知会员服务
87+阅读 · 2020年1月20日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
29+阅读 · 2019年10月18日
【KDD2020】动态知识图谱的多事件预测
专知
88+阅读 · 2020年8月31日
【KDD2020-阿里】可调控的多兴趣推荐框架
专知
9+阅读 · 2020年8月11日
【ICML2020】小样本目标检测
专知
7+阅读 · 2020年6月2日
Arxiv
8+阅读 · 2020年8月30日
Meta-Learning to Cluster
Arxiv
17+阅读 · 2019年10月30日
Transfer Adaptation Learning: A Decade Survey
Arxiv
37+阅读 · 2019年3月12日
VIP会员
相关VIP内容
近期必读的六篇 ICML 2020【域自适应】相关论文
专知会员服务
46+阅读 · 2020年9月29日
专知会员服务
29+阅读 · 2020年9月18日
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
61+阅读 · 2020年5月25日
【ACL2020-Allen AI】预训练语言模型中的无监督域聚类
专知会员服务
23+阅读 · 2020年4月7日
专知会员服务
87+阅读 · 2020年1月20日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
29+阅读 · 2019年10月18日
Top
微信扫码咨询专知VIP会员