近年来,机器学习技术飞速发展,并在自然语言处理、图像识别、搜索推荐等领域得到了广泛的应用。然而,现有大量开放部署的机器学习模型在模型安全与数据隐私方面面临着严峻的挑战。本文重点研究黑盒机器学习模型面临的成员推断攻击问题,即给定一条数据记录以及某个机器学习模型的黑盒预测接口,判断此条数据记录是否属于给定模型的训练数据集。为此,本文设计并实现了一种基于变分自编码器的数据合成算法,用于生成与给定模型的原始训练数据分布相近的合成数据;并在此基础上提出了基于生成对抗网络的模拟模型构建算法,利用合成数据训练得到与给定模型具有相似预测能力的机器学习模型。相较于现有的成员推断攻击工作,本文所提出的推断攻击无需目标模型及其训练数据的先验知识,在仅有目标模型黑盒预测接口的条件下,可获得更加准确的攻击结果。通过本地模型和线上机器学习即服务平台BigML的实验结果证明,所提的数据合成算法可以得到高质量的合成数据,模拟模型构建算法可以在更加严苛的条件下模拟给定模型的预测能力。在没有目标模型及其训练数据的先验知识条件下,本文所提的成员推断攻击在针对多种目标模型进行攻击时,推断准确率最高可达74%,推断精确率可达86%;与现有最佳攻击方法相比,将推断准确率与精确率分别提升10.7%及11.2%。

成为VIP会员查看完整内容
22

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
91+阅读 · 2021年7月23日
央行发布《人工智能算法金融应用评价规范》,28页pdf
专知会员服务
73+阅读 · 2021年5月2日
人工智能模型数据泄露的攻击与防御研究综述
专知会员服务
65+阅读 · 2021年3月31日
【AAAI2021】知识迁移的机器学习成员隐私保护,57页ppt
专知会员服务
26+阅读 · 2021年2月9日
专知会员服务
30+阅读 · 2021年2月7日
基于机器学习的数据库技术综述
专知会员服务
53+阅读 · 2021年1月2日
机器学习的可解释性
专知会员服务
68+阅读 · 2020年12月18日
机器学习模型安全与隐私研究综述
专知会员服务
108+阅读 · 2020年11月12日
专知会员服务
123+阅读 · 2020年8月7日
专知会员服务
218+阅读 · 2020年8月1日
模型攻击:鲁棒性联邦学习研究的最新进展
机器之心
34+阅读 · 2020年6月3日
打破数据孤岛:联邦学习近期重要研究进展
机器之心
9+阅读 · 2019年9月30日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
机器学习模型的“可解释性”到底有多重要?
中国科学院自动化研究所
19+阅读 · 2018年3月1日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
Arxiv
0+阅读 · 2021年10月14日
Arxiv
7+阅读 · 2018年4月21日
VIP会员
相关VIP内容
专知会员服务
91+阅读 · 2021年7月23日
央行发布《人工智能算法金融应用评价规范》,28页pdf
专知会员服务
73+阅读 · 2021年5月2日
人工智能模型数据泄露的攻击与防御研究综述
专知会员服务
65+阅读 · 2021年3月31日
【AAAI2021】知识迁移的机器学习成员隐私保护,57页ppt
专知会员服务
26+阅读 · 2021年2月9日
专知会员服务
30+阅读 · 2021年2月7日
基于机器学习的数据库技术综述
专知会员服务
53+阅读 · 2021年1月2日
机器学习的可解释性
专知会员服务
68+阅读 · 2020年12月18日
机器学习模型安全与隐私研究综述
专知会员服务
108+阅读 · 2020年11月12日
专知会员服务
123+阅读 · 2020年8月7日
专知会员服务
218+阅读 · 2020年8月1日
微信扫码咨询专知VIP会员