对抗性例子的威胁激发了训练可靠的鲁棒神经网络的工作,以便在推理时有效地验证局部鲁棒性。我们形式化了全局鲁棒的概念,它捕获了在线局部鲁棒认证的操作特性,同时为鲁棒训练提供了一个自然学习目标。我们证明,通过将有效的全局Lipschitz边界合并到网络中,通过构建达到最先进的可验证精度的可靠模型,广泛使用的体系结构可以很容易地适应这一目标。值得注意的是,与最近的认证训练方法相比,这种方法需要更少的时间和记忆,并且在在线认证点时成本可以忽略不计;例如,我们的评估表明,在大约几小时内训练一个大型鲁棒的Tiny-Imagenet模型是可能的。我们的模型有效地利用了便宜的全局Lipschitz边界来进行实时认证,尽管之前的建议是为了良好的性能需要更紧密的局部边界;我们假设这是可能的,因为我们的模型经过专门训练,以实现更紧密的全局边界。也就是说,我们证明了对于给定的数据集,最大可实现的可验证精度不能通过使用局部边界来提高。

https://arxiv.org/abs/2102.08452

成为VIP会员查看完整内容
21

相关内容

专知会员服务
19+阅读 · 2021年9月12日
专知会员服务
35+阅读 · 2021年8月17日
专知会员服务
31+阅读 · 2021年8月7日
专知会员服务
27+阅读 · 2021年8月2日
专知会员服务
30+阅读 · 2021年7月19日
专知会员服务
36+阅读 · 2021年7月17日
专知会员服务
16+阅读 · 2021年7月13日
专知会员服务
21+阅读 · 2021年5月27日
专知会员服务
81+阅读 · 2021年5月10日
【WWW2021】对众包系统的数据中毒攻击和防御
专知会员服务
20+阅读 · 2021年2月22日
【ICML2021】低秩Sinkhorn 分解
专知
9+阅读 · 2021年8月20日
CVPR 2020 | 用于点云中3D对象检测的图神经网络
学术头条
5+阅读 · 2020年7月29日
ICLR2019 图上的对抗攻击
图与推荐
17+阅读 · 2020年3月15日
【泡泡点云时空】完美配准:具有平滑密度的3D点云配准
泡泡机器人SLAM
61+阅读 · 2019年5月16日
CMU、谷歌提出Transformer-XL:学习超长上下文关系
机器之心
9+阅读 · 2019年1月18日
Arxiv
7+阅读 · 2021年5月13日
Arxiv
3+阅读 · 2020年9月30日
Star-Transformer
Arxiv
5+阅读 · 2019年2月28日
Arxiv
7+阅读 · 2018年6月8日
VIP会员
相关主题
相关VIP内容
专知会员服务
19+阅读 · 2021年9月12日
专知会员服务
35+阅读 · 2021年8月17日
专知会员服务
31+阅读 · 2021年8月7日
专知会员服务
27+阅读 · 2021年8月2日
专知会员服务
30+阅读 · 2021年7月19日
专知会员服务
36+阅读 · 2021年7月17日
专知会员服务
16+阅读 · 2021年7月13日
专知会员服务
21+阅读 · 2021年5月27日
专知会员服务
81+阅读 · 2021年5月10日
【WWW2021】对众包系统的数据中毒攻击和防御
专知会员服务
20+阅读 · 2021年2月22日
相关资讯
相关论文
微信扫码咨询专知VIP会员