Graph Neural Networks (GNNs) have demonstrated superior performance in learning node representations for various graph inference tasks. However, learning over graph data can raise privacy concerns when nodes represent people or human-related variables that involve sensitive or personal information. While numerous techniques have been proposed for privacy-preserving deep learning over non-relational data, such as image, audio, video, and text, there is less work addressing the privacy issues pertained to applying deep learning algorithms on graphs. As a result and for the first time, in this paper, we study the problem of node-level privacy, where graph nodes have potentially sensitive features that need to be kept private, but they could be beneficial for a central server for training a GNN over the graph. To address this problem, we develop a privacy-preserving GNN learning algorithm with formal privacy guarantees based on Local Differential Privacy (LDP). Specifically, we propose an optimized LDP encoder and an unbiased rectifier, using which the server can communicate with the graph nodes to privately collect their data and approximate the graph convolution layer of the GNN. To further reduce the effect of the injected noise, we propose a simple graph convolution layer based on the multi-hop aggregation of the nodes' features. We argue why LDP is a better choice to tackle this problem compared to other privacy-preserving learning paradigms, such as federated learning, and discuss how GNNs, due to their unique internal structure, can be more robust to differentially private input perturbations than other deep learning models. Extensive experiments conducted over real-world datasets demonstrate the significant capability of our method in maintaining an appropriate privacy-accuracy trade-off.


翻译:内建网络( GNNs) 显示在为各种图形推导任务学习节点表达方式方面表现优异。 但是, 以图式数据相比, 当节点代表敏感或个人信息的人或与人类相关的变量时, 以图式数据为主, 以图式、 音频、 视频和文字等非关系数据为主的深层学习方式提出了多种技术。 虽然已经提出了许多关于隐私保护的深层学习方法, 处理与在图表中应用深层学习算法有关的隐私问题的工作较少。 因此, 我们首次在本文中研究节点隐私问题, 此处的图表节点可能具有需要保持隐私的敏感特征, 但对于在图形上培训 GNNN或个人信息的变量可能是有益的。 为了解决这个问题, 我们开发了一种基于本地差异隐私( LDP) 的正式隐私保障的隐私学习算法, 具体地说, 我们建议一个优化的LDP coder 和一个公正的校正, 服务器可以与图表交换它们自己的数据, 将它们的数据的深层次比GNNNNP 的变换的图级模型要更精确, 。 将一个简单的GNNDLDLDR 的计算方法进一步降低到这个方法比我们更低的学习方法 。

0
下载
关闭预览

相关内容

【NeurIPS2020-MIT】子图神经网络,Subgraph Neural Networks
专知会员服务
45+阅读 · 2020年9月28日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
154+阅读 · 2020年5月26日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
108+阅读 · 2020年2月22日
已删除
将门创投
5+阅读 · 2017年11月20日
Arxiv
0+阅读 · 2021年3月16日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
23+阅读 · 2018年10月1日
VIP会员
相关资讯
已删除
将门创投
5+阅读 · 2017年11月20日
Top
微信扫码咨询专知VIP会员