尽管神经网络在安全设置(如恶意软件检测)方面取得了相当大的成功,但事实证明,这种模型很容易受到规避攻击,即攻击者对输入(如恶意软件)稍加改变以绕过检测。我们提出了一种新的方法——傅里叶稳定,用于设计具有二值输入的规避鲁棒神经网络。这种方法与其他形式的防御方法是互补的,它用傅里叶分析工具推导出的健壮的类似物取代了单个神经元的权重。神经网络中稳定神经元的选择是一个组合优化问题,我们提出了几种近似求解方法。我们提供了一个由傅里叶稳定引起的每个神经元精度下降的正式界限,并通过实验证明了所提出的方法在几个检测设置中增强神经网络的鲁棒性的有效性。此外,我们还表明,我们的方法可以有效地与对抗性训练相结合。

https://www.zhuanzhi.ai/paper/7abfe62872f67236e2292f1ff2c4f7b5

成为VIP会员查看完整内容
0
10

相关内容

人工神经网络(Artificial Neural Network,即ANN ),是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象, 建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。 最近十多年来,人工神经网络的研究工作不断深入,已经取得了很大的进展,其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题,表现出了良好的智能特性。

对抗性例子的威胁激发了训练可靠的鲁棒神经网络的工作,以便在推理时有效地验证局部鲁棒性。我们形式化了全局鲁棒的概念,它捕获了在线局部鲁棒认证的操作特性,同时为鲁棒训练提供了一个自然学习目标。我们证明,通过将有效的全局Lipschitz边界合并到网络中,通过构建达到最先进的可验证精度的可靠模型,广泛使用的体系结构可以很容易地适应这一目标。值得注意的是,与最近的认证训练方法相比,这种方法需要更少的时间和记忆,并且在在线认证点时成本可以忽略不计;例如,我们的评估表明,在大约几小时内训练一个大型鲁棒的Tiny-Imagenet模型是可能的。我们的模型有效地利用了便宜的全局Lipschitz边界来进行实时认证,尽管之前的建议是为了良好的性能需要更紧密的局部边界;我们假设这是可能的,因为我们的模型经过专门训练,以实现更紧密的全局边界。也就是说,我们证明了对于给定的数据集,最大可实现的可验证精度不能通过使用局部边界来提高。

https://arxiv.org/abs/2102.08452

成为VIP会员查看完整内容
0
11

最近解开深度学习中的隐式正则化之谜的努力促使了对矩阵分解的理论关注——通过线性神经网络的矩阵完成。作为对实际深度学习的进一步研究,我们首次对张量因子分解中的隐正则化进行了理论分析——通过某种非线性神经网络的张量补全。我们采用动力学系统的观点,规避了张量问题的困难,刻画了梯度下降引起的演化。给出了贪心低张量秩搜索的一种形式,在一定条件下给出了严格的证明,并在其他条件下给出了经验证明。基于张量秩捕获非线性神经网络隐含正则化的动机,我们将其作为复杂性的度量方法进行了实证研究,并发现它捕获了神经网络所泛化的数据集的本质。这使我们相信张量秩可以为解释深度学习中的隐正则化以及将这种隐正则化转换为泛化的真实数据的特性铺平道路。

成为VIP会员查看完整内容
0
9

对抗训练是提高模型对抗扰动鲁棒性的最有效技术之一。然而,这种方法对模型的全部影响还没有被很好地理解。例如,虽然对抗训练可以减少对抗风险(针对对手的预测错误),但它有时会增加标准风险(没有对手时的泛化错误)。在本文中,我们关注于分布扰动对手框架,其中对手可以改变训练数据分布的邻域内的测试分布。邻域是通过分布之间的Wasserstein距离定义的,邻域的半径是对手操纵能力的度量。我们研究了标准风险和对抗风险之间的权衡,并推导了在特征维数不变的无限数据限制下,在特定类型的模型上可实现的Pareto最优权衡。我们考虑了三种学习设置:1) 线性模型类的回归; 2) 二元分类下的高斯混合数据模型,用线性分类器分类; 3)用一类随机特征模型进行回归(可等效表示为第一层权值为随机的两层神经网络)。我们表明,标准风险和对抗性风险之间的权衡在所有三种情况下都得到了体现。我们进一步描述了Pareto最优权衡曲线,并讨论了各种因素,如特征相关性、对手的力量或两层神经网络的宽度会如何影响这种权衡。

https://www.zhuanzhi.ai/paper/e511cb93baf31c0a8c8549bd4b2a42ef

成为VIP会员查看完整内容
0
12

用反向传播方法训练深度残差神经网络(ResNets)的记忆成本随网络深度的增加而线性增加。规避这个问题的一种方法是使用可逆的架构。本文提出通过增加动量项来改变ResNet的正向规则。所得到的网络,动量剩余神经网络(动量ResNets)是可逆的。与以前的可逆架构不同,它们可以作为任何现有的ResNet块的替代。我们证明动量ResNets可以被解释为二阶常微分方程(ode),并准确地描述了如何逐步增加动量增加动量ResNets的表示能力。我们的分析显示,Momentum ResNets可以学习任何线性映射到一个倍增因子,而ResNets不能。在优化设置的学习中,需要收敛到一个不动点,我们从理论上和经验上证明了我们的方法成功,而现有的可逆架构失败。我们在CIFAR和ImageNet上展示了Momentum ResNets与ResNets具有相同的精度,但占用的内存要小得多,并展示了预训练的Momentum ResNets对模型的微调是有前途的。

https://www.zhuanzhi.ai/paper/867b3834167694dab97cf812135dc273

成为VIP会员查看完整内容
0
16

虽然许多现有的图神经网络(gnn)已被证明可以执行基于ℓ2的图平滑,从而增强全局平滑,但在本工作中,我们旨在通过基于ℓ1的图平滑进一步增强GNN的局部平滑自适应。在此基础上,提出了一种基于ℓ1和ℓ2图平滑的弹性GNN。特别地,我们提出了一种新的、通用的消息传递方案。该消息传递算法不仅有利于反向传播训练,而且在保证理论收敛的前提下达到了预期的平滑特性。在半监督学习任务上的实验表明,所提出的弹性GNN在基准数据集上具有较好的自适应能力,对图对抗攻击具有显著的鲁棒性。

https://www.zhuanzhi.ai/paper/09bea7a76036948cbbba30e86af56ef8

成为VIP会员查看完整内容
0
23

在为许多现实世界的问题指定奖励方面的困难导致人们越来越关注从人的反馈中学习奖励,比如演示。然而,通常有许多不同的奖励功能来解释人类的反馈,这让智能体不确定什么是真正的奖励功能。虽然大多数策略优化方法通过优化预期性能来处理这种不确定性,但许多应用需要规避风险行为。我们推导了一种新的策略梯度式鲁棒优化方法PG-BROIL,它优化了平衡预期性能和风险的软鲁棒目标。据我们所知,PG-BROIL是第一个对奖励假设分布鲁棒的策略优化算法,该假设可以扩展到连续的MDPs。结果表明,PG-BROIL可以产生一系列从风险中性到风险厌恶的行为,并通过对冲不确定性从模糊的演示中学习,而不是寻求唯一识别演示者的奖励功能时,表现优于最先进的模仿学习算法。

https://www.zhuanzhi.ai/paper/a367014851df7b705e67adc94da69694

成为VIP会员查看完整内容
0
17

本文提出了一种基于框架小波变换(framelet transforms)的图神经网络。这种方法为结构化的图数据提供了多尺度表示。我们利用这种变换方式把图数据特征分解到低通和高通频率(low-pass and high-pass frequency)空间上,并利用这些频率信息定义相应的框架小波图卷积层(graph framelet convolutional layer)。此外,图上的特征通过框架小波分解,聚合出了低通和高通光谱(spectra)的信息。我们利用这一特征,进一步提出了相应的图池化(graph pooling)方法。这种池化方法同时考虑了图数据的特征信息(feature information)和几何信息(topology information)。

我们在多种节点预测和图预测任务上对本文提出的框架小波卷积和池化方法的图神经网络进行了测试。实验结果表明,我们的方法在多种应用下都可以达到SOTA的表现。

https://www.zhuanzhi.ai/paper/87ac4a31c20270d43bebe5279aca9ca2

成为VIP会员查看完整内容
0
34

图神经网络(GNN)中缺乏各向异性核极大地限制了其表达能力,导致了一些众所周知的问题,如过度平滑。为了克服这个限制,我们提出了第一个全局一致的各向异性核GNN,允许根据拓扑导出的方向流定义图卷积。首先,通过在图中定义矢量场,我们提出了一种方法应用方向导数和平滑投影节点特定的信息到场。然后,我们提出用拉普拉斯特征向量作为这种向量场。在Weisfeiler-Lehman 1-WL检验方面,我们证明了该方法可以在n维网格上泛化CNN,并证明比标准的GNN更有分辨力。我们在不同的标准基准上评估了我们的方法,发现在CIFAR10图数据集上相对误差减少了8%,在分子锌数据集上相对误差减少了11%到32%,在MolPCBA数据集上相对精度提高了1.6%。这项工作的重要成果是,它使图网能够以一种无监督的方式嵌入方向,从而能够更好地表示不同物理或生物问题中的各向异性特征。

https://www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

成为VIP会员查看完整内容
0
52

尽管健壮的深度学习中的现有工作都集中在基于像素级别的小型规范扰动,但这可能无法解决在多个实际设置中遇到的扰动。在许多此类情况下,尽管可能无法获得测试数据,但可能知道有关扰动类型(例如未知的旋转度)的广泛规范。我们考虑一种在看不见的测试域中预期具有鲁棒性的设置。但偏离了训练领域。虽然可能无法确切知道此偏差,但根据属性先验地指定了其广泛的特征。我们提出了一种对抗训练方法,该方法学习如何生成新样本,从而最大程度地将分类器暴露于属性空间,而无需访问来自测试域的数据。我们的对抗训练解决了最小-最大优化问题,通过优化内部最大化产生的对抗性扰动的损失,使内部最大化产生对抗性扰动,而外部最小化找到模型参数。我们证明了我们的方法在三种类型的自然扰动上的适用性-与对象相关的移动,几何变换和常见的图像破坏。我们的方法使深度神经网络能够抵抗各种自然扰动。我们通过展示在MNIST,CIFAR-10和CLEVR数据集的新变体上进行对抗训练而获得的深度神经网络的鲁棒性收益,从而证明了所提出方法的有效性。

https://www.zhuanzhi.ai/paper/636acb141a5e0aea86f5cb8e864aca56

成为VIP会员查看完整内容
0
18

我们知道,目前的图神经网络(GNNs)由于被称为过度平滑的问题,很难变深。多尺度GNN是一种很有前途的方法,以减轻过度平滑问题。然而,很少有人从学习理论的角度解释为什么它在经验上有效。在本研究中,我们推导了包括多尺度GNN的转导学习算法的优化和泛化保证。利用boosting理论,证明了训练误差在弱学习类型条件下的收敛性。通过将其与泛化间隙边界在转导距离复杂度上的结合,我们证明了在此条件下,某一特定类型的多尺度GNN的测试误差边界随深度的减小而相应减小。我们的结果为多尺度结构对抗过平滑问题的有效性提供了理论解释。我们将boosting算法应用于训练多尺度的GNN来完成真实的节点预测任务。我们证实其性能与现有的GNNs相当,实际行为与理论观测一致。代码可在https://github.com/delta2323/GB-GNN下载。

https://www.zhuanzhi.ai/paper/8f08812139e67b767e5b59c2a71e5bdd

成为VIP会员查看完整内容
0
8
小贴士
相关VIP内容
专知会员服务
11+阅读 · 8月26日
专知会员服务
9+阅读 · 8月24日
专知会员服务
12+阅读 · 8月6日
专知会员服务
16+阅读 · 7月19日
专知会员服务
23+阅读 · 7月17日
专知会员服务
17+阅读 · 6月15日
专知会员服务
34+阅读 · 5月19日
专知会员服务
52+阅读 · 5月10日
专知会员服务
18+阅读 · 1月21日
相关论文
Lulu Pan,Haibin Shao,Yuanlong Li,Dewei Li,Yugeng Xi
0+阅读 · 10月26日
Yung-Han Ho,Chih-Chun Chan,Wen-Hsiao Peng,Hsueh-Ming Hang,Marek Domanski
0+阅读 · 10月25日
Wei Fang,Zhaofei Yu,Yanqi Chen,Tiejun Huang,Timothée Masquelier,Yonghong Tian
0+阅读 · 10月25日
Goran Zuzic
0+阅读 · 10月22日
Tao Lin,Sai Praneeth Karimireddy,Sebastian U. Stich,Martin Jaggi
4+阅读 · 6月18日
Michael E. Sander,Pierre Ablin,Mathieu Blondel,Gabriel Peyré
6+阅读 · 5月13日
Wenqi Fan,Yao Ma,Qing Li,Yuan He,Eric Zhao,Jiliang Tang,Dawei Yin
14+阅读 · 2019年11月23日
A Sensitivity Analysis of Attention-Gated Convolutional Neural Networks for Sentence Classification
Yang Liu,Jianpeng Zhang,Chao Gao,Jinghua Qu,Lixin Ji
4+阅读 · 2019年8月25日
Aleatoric uncertainty estimation with test-time augmentation for medical image segmentation with convolutional neural networks
Guotai Wang,Wenqi Li,Michael Aertsen,Jan Deprest,Sebastien Ourselin,Tom Vercauteren
7+阅读 · 2018年7月20日
Felix Laumann,Kumar Shridhar,Adrian Llopart Maurin
18+阅读 · 2018年6月27日
Top