There is a known tension between the need to analyze personal data to drive business and privacy concerns. Many data protection regulations, including the EU General Data Protection Regulation (GDPR) and the California Consumer Protection Act (CCPA), set out strict restrictions and obligations on the collection and processing of personal data. Moreover, machine learning models themselves can be used to derive personal information, as demonstrated by recent membership and attribute inference attacks. Anonymized data, however, is exempt from the obligations set out in these regulations. It is therefore desirable to be able to create models that are anonymized, thus also exempting them from those obligations, in addition to providing better protection against attacks. Learning on anonymized data typically results in significant degradation in accuracy. In this work, we propose a method that is able to achieve better model accuracy by using the knowledge encoded within the trained model, and guiding our anonymization process to minimize the impact on the model's accuracy, a process we call accuracy-guided anonymization. We demonstrate that by focusing on the model's accuracy rather than generic information loss measures, our method outperforms state of the art k-anonymity methods in terms of the achieved utility, in particular with high values of k and large numbers of quasi-identifiers. We also demonstrate that our approach has a similar, and sometimes even better ability to prevent membership inference attacks as approaches based on differential privacy, while averting some of their drawbacks such as complexity, performance overhead and model-specific implementations. This makes model-guided anonymization a legitimate substitute for such methods and a practical approach to creating privacy-preserving models.


翻译:许多数据保护条例,包括欧盟一般数据保护条例(GDPR)和加利福尼亚消费者保护法(CCPA),对收集和处理个人数据规定了严格的限制和义务;此外,机器学习模式本身可以用来获取个人信息,如最近的会员身份和属性推断攻击所显示的那样;匿名数据不受这些条例所规定义务的约束;因此,最好能够创建匿名化模式,从而除提供更好的防范攻击保护外,还免除这些义务;学习匿名化数据通常导致对收集和处理个人数据的严格限制和义务;此外,在这项工作中,我们提出一种方法,通过使用经过训练的模型所编码的知识,可以提高模型准确性,指导我们的匿名化进程,以尽量减少对模型准确性的影响,我们称之为以模型为指南的匿名化过程。我们通过侧重于模型的准确性而不是一般信息损失措施,我们的方法通常会大大降低攻击的准确性;我们提出的一种方法,通过使用经过训练的模型的精细的精细度和精确性方法,也能够以高的精确性方法来提高模型的准确性;我们有时通过注重模型的精确性,我们的方法比一般信息损失措施的精确性,我们的方法超越了成本的精确性方法,同时以类似的推测方法也展示了我们的精确性方法。

0
下载
关闭预览

相关内容

机器学习系统设计系统评估标准
【UBC】高级机器学习课程,Advanced Machine Learning
专知会员服务
24+阅读 · 2021年1月26日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
专知会员服务
115+阅读 · 2019年12月24日
吴恩达新书《Machine Learning Yearning》完整中文版
专知会员服务
145+阅读 · 2019年10月27日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Machine Learning:十大机器学习算法
开源中国
20+阅读 · 2018年3月1日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
Arxiv
0+阅读 · 2021年10月1日
Arxiv
0+阅读 · 2021年9月30日
Arxiv
0+阅读 · 2021年9月30日
Arxiv
0+阅读 · 2021年9月30日
Arxiv
0+阅读 · 2021年9月28日
Arxiv
24+阅读 · 2021年1月25日
Arxiv
45+阅读 · 2019年12月20日
Arxiv
18+阅读 · 2019年1月16日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Interpretable Active Learning
Arxiv
3+阅读 · 2018年6月24日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Machine Learning:十大机器学习算法
开源中国
20+阅读 · 2018年3月1日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
相关论文
Arxiv
0+阅读 · 2021年10月1日
Arxiv
0+阅读 · 2021年9月30日
Arxiv
0+阅读 · 2021年9月30日
Arxiv
0+阅读 · 2021年9月30日
Arxiv
0+阅读 · 2021年9月28日
Arxiv
24+阅读 · 2021年1月25日
Arxiv
45+阅读 · 2019年12月20日
Arxiv
18+阅读 · 2019年1月16日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Interpretable Active Learning
Arxiv
3+阅读 · 2018年6月24日
Top
微信扫码咨询专知VIP会员