Once users have shared their data online, it is generally difficult for them to revoke access and ask for the data to be deleted. Machine learning (ML) exacerbates this problem because any model trained with said data may have memorized it, putting users at risk of a successful privacy attack exposing their information. Yet, having models unlearn is notoriously difficult. We introduce SISA training, a framework that expedites the unlearning process by strategically limiting the influence of a data point in the training procedure. While our framework is applicable to any learning algorithm, it is designed to achieve the largest improvements for stateful algorithms like stochastic gradient descent for deep neural networks. SISA training reduces the computational overhead associated with unlearning, even in the worst-case setting where unlearning requests are made uniformly across the training set. In some cases, the service provider may have a prior on the distribution of unlearning requests that will be issued by users. We may take this prior into account to partition and order data accordingly, and further decrease overhead from unlearning. Our evaluation spans several datasets from different domains, with corresponding motivations for unlearning. Under no distributional assumptions, for simple learning tasks, we observe that SISA training improves time to unlearn points from the Purchase dataset by 4.63x, and 2.45x for the SVHN dataset, over retraining from scratch. SISA training also provides a speed-up of 1.36x in retraining for complex learning tasks such as ImageNet classification; aided by transfer learning, this results in a small degradation in accuracy. Our work contributes to practical data governance in machine unlearning.


翻译:一旦用户在线共享了数据,他们通常很难取消访问,要求删除数据。机器学习(ML)加剧了这一问题,因为任何以上述数据培训的模型都可能已经记忆起来,使用户面临成功隐私攻击的风险,从而暴露他们的信息。然而,将模型拆开是臭名昭著的困难。我们引入SISA培训,这是一个在战略上限制一个数据点对培训程序的影响,从而加快不学习过程的框架。虽然我们的框架适用于任何复杂的学习算法,但设计这个框架是为了实现诸如深层神经神经网络的随机梯度梯度下降等状态性算法的最大改进。SISA培训减少了与不学习相关的计算间接费用,即使在最坏的环境下,不学习请求也会在整套培训中被统一。在某些情况下,服务提供商可能事先分配用户将发布的不学习请求。我们可能先考虑对数据进行分解和排序,然后进一步减少未学习的间接费用。我们的评估跨越了不同的领域,有相应的动机进行不学习。在SISA中,在SISA中,不做简单的学习SISA任务,通过S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-I-I-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-I-I-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-

2
下载
关闭预览

相关内容

一份简单《图神经网络》教程,28页ppt
专知会员服务
120+阅读 · 2020年8月2日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
145+阅读 · 2019年10月12日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
100+阅读 · 2019年10月9日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
移动端机器学习资源合集
专知
8+阅读 · 2019年4月21日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Machine Learning:十大机器学习算法
开源中国
19+阅读 · 2018年3月1日
Deep Learning & Neural Network 免费学习资源【译】
乐享数据DataScientists
5+阅读 · 2017年8月20日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2021年2月17日
Arxiv
24+阅读 · 2021年1月25日
Arxiv
44+阅读 · 2019年12月20日
Arxiv
22+阅读 · 2019年11月24日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
Arxiv
25+阅读 · 2018年8月19日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
移动端机器学习资源合集
专知
8+阅读 · 2019年4月21日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Machine Learning:十大机器学习算法
开源中国
19+阅读 · 2018年3月1日
Deep Learning & Neural Network 免费学习资源【译】
乐享数据DataScientists
5+阅读 · 2017年8月20日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
相关论文
Arxiv
0+阅读 · 2021年2月17日
Arxiv
24+阅读 · 2021年1月25日
Arxiv
44+阅读 · 2019年12月20日
Arxiv
22+阅读 · 2019年11月24日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
Arxiv
25+阅读 · 2018年8月19日
Top
微信扫码咨询专知VIP会员