While state-of-the-art NLP models have been achieving the excellent performance of a wide range of tasks in recent years, important questions are being raised about their robustness and their underlying sensitivity to systematic biases that may exist in their training and test data. Such issues come to be manifest in performance problems when faced with out-of-distribution data in the field. One recent solution has been to use counterfactually augmented datasets in order to reduce any reliance on spurious patterns that may exist in the original data. Producing high-quality augmented data can be costly and time-consuming as it usually needs to involve human feedback and crowdsourcing efforts. In this work, we propose an alternative by describing and evaluating an approach to automatically generating counterfactual data for data augmentation and explanation. A comprehensive evaluation on several different datasets and using a variety of state-of-the-art benchmarks demonstrate how our approach can achieve significant improvements in model performance when compared to models training on the original data and even when compared to models trained with the benefit of human-generated augmented data.


翻译:近些年来,尽管最先进的国家劳工政策模型取得了出色地完成一系列广泛任务,但人们正在对其稳健性和对培训和测试数据中可能存在的系统偏差的潜在敏感性提出重要问题,这些问题表现在面对外地分配数据外的绩效问题中。最近的一个解决办法是使用反实际扩大的数据集,以减少对原始数据中可能存在的虚假模式的依赖。产生高质量的扩充数据可能费用高昂,耗费时间,因为通常需要人类反馈和众包努力。在这项工作中,我们提出一种替代办法,说明和评价自动生成反事实数据的方法,用于数据扩充和解释。对若干不同的数据集进行全面评价,并采用各种最新基准,表明与原始数据模型培训相比,我们的方法如何能够在模型业绩方面实现重大改进,即使与经过培训的模型相比,利用人类生成的扩大数据的好处。

0
下载
关闭预览

相关内容

【EMNLP2020】自然语言生成,Neural Language Generation
专知会员服务
38+阅读 · 2020年11月20日
专知会员服务
52+阅读 · 2020年11月17日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
31+阅读 · 2019年10月16日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
计算机 | IUI 2020等国际会议信息4条
Call4Papers
6+阅读 · 2019年6月17日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Jointly Improving Summarization and Sentiment Classification
黑龙江大学自然语言处理实验室
3+阅读 · 2018年6月12日
笔记 | Sentiment Analysis
黑龙江大学自然语言处理实验室
10+阅读 · 2018年5月6日
已删除
将门创投
5+阅读 · 2018年2月28日
原创 | Attention Modeling for Targeted Sentiment
黑龙江大学自然语言处理实验室
25+阅读 · 2017年11月5日
【今日新增】IEEE Trans.专刊截稿信息8条
Call4Papers
7+阅读 · 2017年6月29日
Generating Fact Checking Explanations
Arxiv
9+阅读 · 2020年4月13日
Arxiv
6+阅读 · 2019年9月4日
Arxiv
5+阅读 · 2018年1月23日
VIP会员
相关资讯
计算机 | IUI 2020等国际会议信息4条
Call4Papers
6+阅读 · 2019年6月17日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Jointly Improving Summarization and Sentiment Classification
黑龙江大学自然语言处理实验室
3+阅读 · 2018年6月12日
笔记 | Sentiment Analysis
黑龙江大学自然语言处理实验室
10+阅读 · 2018年5月6日
已删除
将门创投
5+阅读 · 2018年2月28日
原创 | Attention Modeling for Targeted Sentiment
黑龙江大学自然语言处理实验室
25+阅读 · 2017年11月5日
【今日新增】IEEE Trans.专刊截稿信息8条
Call4Papers
7+阅读 · 2017年6月29日
Top
微信扫码咨询专知VIP会员