The ability to detect Out-of-Domain (OOD) inputs has been a critical requirement in many real-world NLP applications. For example, intent classification in dialogue systems. The reason is that the inclusion of unsupported OOD inputs may lead to catastrophic failure of systems. However, it remains an empirical question whether current methods can tackle such problems reliably in a realistic scenario where zero OOD training data is available. In this study, we propose ProtoInfoMax, a new architecture that extends Prototypical Networks to simultaneously process in-domain and OOD sentences via Mutual Information Maximization (InfoMax) objective. Experimental results show that our proposed method can substantially improve performance up to 20% for OOD detection in low resource settings of text classification. We also show that ProtoInfoMax is less prone to typical overconfidence errors of Neural Networks, leading to more reliable prediction results.


翻译:检测外部输入的能力是许多实际 NLP 应用程序的关键要求。 例如,对话系统中的意向分类。 原因是,纳入无支持 OOD 输入可能导致系统灾难性故障。 然而,仍然是一个经验性问题,即如果零OOD 培训数据存在,目前的方法是否能够可靠地在现实情况下解决此类问题。 在本研究中,我们提议了ProtoInfoMax,这是一个新的结构,通过相互信息最大化(InfoMax)目标,将原型网络扩展至同时处理内部和OOOD 句。实验结果显示,在文本分类的低资源设置下,我们拟议方法可以大大改进在OOD探测的性能,达到20%。 我们还表明,ProtoInfoMax 不太容易发生神经网络典型的过度信任错误,导致更可靠的预测结果。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
【Google】梯度下降,48页ppt
专知会员服务
80+阅读 · 2020年12月5日
专知会员服务
44+阅读 · 2020年10月31日
迁移学习简明教程,11页ppt
专知会员服务
107+阅读 · 2020年8月4日
一份简单《图神经网络》教程,28页ppt
专知会员服务
122+阅读 · 2020年8月2日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
181+阅读 · 2020年4月26日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
77+阅读 · 2020年2月3日
已删除
将门创投
3+阅读 · 2020年8月3日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Arxiv
0+阅读 · 2021年10月29日
Arxiv
30+阅读 · 2021年7月7日
Arxiv
7+阅读 · 2021年5月25日
VIP会员
相关资讯
已删除
将门创投
3+阅读 · 2020年8月3日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Top
微信扫码咨询专知VIP会员