在过去的十年中,我们目睹了人们对机器学习(ML)的兴趣急剧上升。深度神经网络已经在从图像分类到游戏玩的各种任务上实现或超过了人类水平。在这些应用中,我们通常观察到模型的输入具有某种形式的规则结构:例如,图像是一个2D网格。最近,人们有兴趣将ML革命的成功扩展到没有统一结构的数据,如图。图由一组节点和一组定义节点之间关系的边组成,为建模提供了极大的灵活性。这些模型应用于从代码分析到推荐系统再到药物发现的各种问题,实现了最先进的性能并为ML打开了新的应用。

由于图神经网络(gnn)已被证明的潜力和可能应用的巨大空间,当我们打算将这些模型部署到研究背景之外时,自然会将注意力转向出现的实际问题。一个主要的问题是效率:我们如何设计消耗更少资源(如时间和内存)的GNN,以将我们的训练扩展到更大的模型和数据集,并将我们的模型部署到更资源受限的设备?此外,一旦我们将这些模型发布到野外,我们如何确保它们能够抵御来自潜在对手的攻击?这些是激励本文工作的问题:哪些新技术是必要的,以解决这些效率和安全问题? 本文中反复出现的一个主题是,正则结构的丢失给GNNs带来了几个独特的挑战:适用于其他常见神经网络架构的技术不一定适用于GNNs。本文首先严格评估了在其他神经网络架构中流行的两种软硬件协同设计技术:量化,在推理时使用低精度的算法,以及剪枝,从网络中删除权重。研究了高效的架构设计,首先是通用gnn的架构设计,其次是专门为处理点云数据而设计的模型。最后,本文描述了与这些模型相关的一种新型安全漏洞,并讨论了可能的缓解措施。

成为VIP会员查看完整内容
47

相关内容

剑桥大学(英语:University of Cambridge;勋衔:Cantab)为一所座落于英国剑桥郡剑桥市的研究型大学。它是英语世界中历史第二悠久的大学,也是世界现存第四古老的大学。剑桥大学的起源为一群牛津大学的学者,因与牛津市民发生冲突而移居至剑桥。剑桥与牛津这两所在中世纪建立的英国大学,在校务运作、学术声望、社会地位等多方面都非常相似,经常合称为“牛剑”
【剑桥大学博士论文】机器学习安全性,148页pdf
专知会员服务
41+阅读 · 2023年2月13日
【伯克利博士论文】硬件感知的高效深度学习,154页pdf
专知会员服务
73+阅读 · 2022年10月20日
【NeurIPS 2020】图神经网络GNN架构设计
专知会员服务
82+阅读 · 2020年11月19日
最新《图神经网络实用指南》2020论文,28页pdf
专知会员服务
221+阅读 · 2020年10月17日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
22+阅读 · 2022年3月31日
Arxiv
38+阅读 · 2020年12月2日
已删除
Arxiv
32+阅读 · 2020年3月23日
Arxiv
22+阅读 · 2018年8月30日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员