Graph convolutional networks (GCNs) are a powerful architecture for representation learning on documents that naturally occur as graphs, e.g., citation or social networks. However, sensitive personal information, such as documents with people's profiles or relationships as edges, are prone to privacy leaks, as the trained model might reveal the original input. Although differential privacy (DP) offers a well-founded privacy-preserving framework, GCNs pose theoretical and practical challenges due to their training specifics. We address these challenges by adapting differentially-private gradient-based training to GCNs and conduct experiments using two optimizers on five NLP datasets in two languages. We propose a simple yet efficient method based on random graph splits that not only improves the baseline privacy bounds by a factor of 2.7 while retaining competitive F1 scores, but also provides strong privacy guarantees of epsilon = 1.0. We show that, under certain modeling choices, privacy-preserving GCNs perform up to 90% of their non-private variants, while formally guaranteeing strong privacy measures.


翻译:图表组合网络(GCN)是一个强大的结构,用于在自然以图表形式出现的文件中进行代表学习,例如引用或社交网络。然而,敏感的个人信息,例如带有人简介的文件或作为边缘关系的文件,容易出现隐私泄露,因为经过培训的模型可能揭示原始输入。虽然不同的隐私(DP)提供了一个有充分根据的隐私保护框架,但全球氯化萘因其培训特点而构成理论和实际挑战。我们通过对不同私营的梯度培训进行调整以适应于GCN, 并利用两个优化器对五种非私人版本数据集进行两种语言的实验来应对这些挑战。我们提出了一个基于随机图表分割的简单而有效的方法,该方法不仅通过2.7系数改善基线隐私的界限,同时保留竞争性F1分数,而且还为epsilon=1.0提供强有力的隐私保障。我们表明,在某些模式选择下,保护隐私的GCN可达到其非私营版本的90%,同时正式保证强有力的隐私措施。

0
下载
关闭预览

相关内容

因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
专知会员服务
60+阅读 · 2020年3月19日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
152+阅读 · 2019年10月12日
图分类相关资源大列表
专知
11+阅读 · 2019年7月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
已删除
将门创投
13+阅读 · 2019年4月17日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
Arxiv
3+阅读 · 2020年4月29日
已删除
Arxiv
32+阅读 · 2020年3月23日
Arxiv
12+阅读 · 2018年9月15日
Arxiv
7+阅读 · 2018年1月10日
VIP会员
相关资讯
图分类相关资源大列表
专知
11+阅读 · 2019年7月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
已删除
将门创投
13+阅读 · 2019年4月17日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
相关论文
Top
微信扫码咨询专知VIP会员