Deep neural networks for natural language processing are fragile in the face of adversarial examples -- small input perturbations, like synonym substitution or word duplication, which cause a neural network to change its prediction. We present an approach to certifying the robustness of LSTMs (and extensions of LSTMs) and training models that can be efficiently certified. Our approach can certify robustness to intractably large perturbation spaces defined programmatically in a language of string transformations. Our evaluation shows that (1) our approach can train models that are more robust to combinations of string transformations than those produced using existing techniques; (2) our approach can show high certification accuracy of the resulting models.


翻译:自然语言处理的深神经网络在面对对抗性例子时是脆弱的 -- -- 输入的微小扰动,如同义代词或重复字词等,导致神经网络改变其预测。我们提出了一个验证LSTMs(和LSTMs的扩展)的稳健性以及能够有效认证的培训模式的方法。我们的方法可以证明对用弦转换语言以方案方式界定的大规模扰动空间的稳健性。我们的评估表明:(1) 我们的方法可以培训比使用现有技术生成的模式更强大的组合弦转换模型;(2) 我们的方法可以显示由此产生的模型的高度认证准确性。

0
下载
关闭预览

相关内容

【EMNLP2020】自然语言生成,Neural Language Generation
专知会员服务
38+阅读 · 2020年11月20日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
78+阅读 · 2020年7月26日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
基于LSTM深层神经网络的时间序列预测
论智
21+阅读 · 2018年9月4日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
干货|从LSTM到Seq2Seq
全球人工智能
15+阅读 · 2018年1月9日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
RNN | RNN实践指南(2)
KingsGarden
19+阅读 · 2017年5月4日
Arxiv
0+阅读 · 2021年10月26日
Arxiv
0+阅读 · 2021年10月25日
VIP会员
相关VIP内容
【EMNLP2020】自然语言生成,Neural Language Generation
专知会员服务
38+阅读 · 2020年11月20日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
78+阅读 · 2020年7月26日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
基于LSTM深层神经网络的时间序列预测
论智
21+阅读 · 2018年9月4日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
干货|从LSTM到Seq2Seq
全球人工智能
15+阅读 · 2018年1月9日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
RNN | RNN实践指南(2)
KingsGarden
19+阅读 · 2017年5月4日
Top
微信扫码咨询专知VIP会员