题目

保护隐私的协同过滤综述,Survey of Privacy-Preserving Collaborative Filtering

关键字

协同过滤,隐私保护,机器学习,人工智能,推荐系统

简介

协作过滤推荐系统根据用户过去的经验以及具有相似兴趣的其他用户的经验向用户提供建议。推荐系统的使用在最近几年得到了广泛的发展,可以帮助人们选择观看哪些电影,阅读哪些书籍以及购买哪些物品。但是,在使用此类系统时,用户通常会担心其隐私,并且许多用户不愿意为大多数在线服务提供准确的信息。隐私保护协作过滤推荐系统旨在为用户提供准确的推荐,同时保持有关其数据隐私的某些保证。这项调查研究了有关保护隐私的协作过滤的最新文献,提供了一个广阔的视野,并使用两种不同的标准对文献中的关键贡献进行了分类:漏洞的类型和解决方法。

作者

Islam Elnabarawy,Student Member, IEEE,Wei Jiang,Member, IEEE,and Donald C. Wunsch II,Fellow, IEEE

成为VIP会员查看完整内容
0
30

相关内容

利用已有的用户群过去的行为或者意见预测当前用户最可能喜欢哪些东西或者对哪些东西感兴趣。主要应用场景是在线零售系统,目的是进行商品促销和提高销售额。

基于协同过滤(CF)的潜在因素模型(LFM),如矩阵分解(MF)和深度CF方法,由于其良好的性能和推荐精度,在现代推荐系统(RS)中得到了广泛的应用。尽管近年来取得了巨大的成功,但事实表明,这些方法易受对抗性例子的影响,即,这是一种微妙但非随机的扰动,旨在迫使推荐模型产生错误的输出。这种行为的主要原因是,用于LFM训练的用户交互数据可能会受到恶意活动或用户误操作的污染,从而导致不可预测的自然噪声和危害推荐结果。另一方面,研究表明,这些最初设想用于攻击机器学习应用程序的系统可以成功地用于增强它们对攻击的鲁棒性,以及训练更精确的推荐引擎。在这方面,本调查的目标有两方面:(i)介绍关于AML-RS的最新进展,以保障AML-RS的安全性。(ii)展示了AML在生成对抗网络(GANs)中的另一个成功应用,生成对抗网络(GANs)使用了AML学习的核心概念(即用于生成应用程序。在这项综述中,我们提供了一个详尽的文献回顾60篇文章发表在主要的RS和ML杂志和会议。这篇综述为RS社区提供了参考,研究RS和推荐模型的安全性,利用生成模型来提高它们的质量。

成为VIP会员查看完整内容
0
75

题目: An Overview of Privacy in Machine Learning

序言: 在过去几年中,谷歌、微软和亚马逊等供应商已经开始为客户提供软件接口,使他们能够轻松地将机器学习任务嵌入到他们的应用程序中。总的来说,机构现在可以使用机器学习作为服务(MLaaS)引擎来外包复杂的任务,例如训练分类器、执行预测、聚类等等。他们还可以让其他人根据他们的数据查询模型。当然,这种方法也可以在其他情况下使用(并且经常提倡使用),包括政府协作、公民科学项目和企业对企业的伙伴关系。然而,如果恶意用户能够恢复用于训练这些模型的数据,那么由此导致的信息泄漏将会产生严重的问题。同样,如果模型的内部参数被认为是专有信息,那么对模型的访问不应该允许对手了解这些参数。在本文中,我们对这一领域的隐私挑战进行了回顾,系统回顾了相关的研究文献,并探讨了可能的对策。具体地说,我们提供了大量关于机器学习和隐私相关概念的背景信息。然后,我们讨论了可能的对抗模型和设置,涵盖了与隐私和/或敏感信息泄漏有关的广泛攻击,并回顾了最近试图防御此类攻击的结果。最后,我们总结出一系列需要更多工作的开放问题,包括需要更好的评估、更有针对性的防御,以及研究与政策和数据保护工作的关系。

成为VIP会员查看完整内容
0
55

摘要

推荐系统是一种软件应用程序,它可以帮助用户在信息过载的情况下找到感兴趣的主题。当前的研究通常假设一个一次性的交互范式,其中用户偏好是根据过去历史观察到的行为来估计的,并且按照等级排序的推荐列表是用户交互的主要的且是单向的形式。对话推荐系统(CRS)采用了一种不同的方法,支持更丰富的交互。例如,这些交互可以帮助改进偏好激发过程,或者允许用户询问关于推荐的问题并给出反馈。对CRS的兴趣在过去几年里显著增加。这种发展主要是由于自然语言处理领域的重大进展,新的语音控制家庭助手的出现,以及聊天机器人技术的增加使用。在本文中,我们详细介绍了现有的对话推荐方法。我们将这些方法按不同的维度进行分类,例如,根据支持的用户意图或用户在后台使用的知识。此外,我们还讨论了技术方法,回顾了CRS的评估方法,并最终确定了一些在未来值得更多研究的差距。

介绍

推荐系统是人工智能在实践中最明显的成功案例之一。通常,这些系统的主要任务是为用户指出感兴趣的潜在主题,例如电子商务网站。因此,它们不仅可以在信息超载的情况下帮助用户,还可以对服务提供商的业务做出重大贡献。 在这些实际应用中,推荐是一个一次性的交互过程。通常,底层系统会随着时间的推移监视其用户的行为,然后在预定义的导航情况下(例如,当用户登录到服务时)提供一组定制的建议。尽管这种方法在各个领域都很常见,也很有用,但是它可能有一些潜在的限制。例如,在许多应用程序场景中,用户首选项无法从其过去的交互中可靠地估计出来。对于高介入的产品(例如,当推荐一款智能手机时),我们甚至可能完全没有过去的观察结果。此外,在一组建议中包含哪些内容可能与上下文高度相关,而且可能很难自动确定用户的当前情况或需求。最后,另一个假设通常是,当用户登录网站时,他们已经知道自己的偏好。然而,这未必是真的。例如,用户可能只在决策过程中确定他们的首选项,例如,当他们意识到选项的空间时。在某些情况下,他们也可能只在与推荐者的交互过程中了解这块内容和可用的选项。 对话推荐系统(CRS)是可以帮助解决这些的挑战中的许多这样的问题。一般来说,这种系统的总体思想是支持与用户进行面向任务的多回合对话。例如,在这样的对话中,系统可以引出用户当前的详细偏好,为主题推荐提供解释,或者处理用户对所提建议的反馈。 鉴于这类系统的巨大潜力,对CRS的研究已经有了一定的传统。早在20世纪70年代末,Rich就设想了一个电脑化的图书管理员,通过用自然语言互动地向用户提问有关他们的个性和偏好的问题,向他们提出阅读建议。除了基于自然语言处理(NLP)的接口外,近年来还提出了多种基于表单的用户接口。CRS中较早的基于这些接口的交互方法之一称为critiquing,它在1982年就被提出作为数据库领域的查询重新制定的一种方法。在critiquing方法中,用户很快会在对话中看到一个建议,然后可以对这些建议应用预先定义的评论。 基于表单的方法通常很有吸引力,因为用户可以使用的操作是预先定义的、明确的。然而,这样的对话也可能出现非自然的,用户可能在表达他们的偏好的方式上感到约束。另一方面,基于NLP的方法在很长一段时间内受到了现有的限制,例如在处理语音命令的上下文中。然而,近年来,语言技术取得了重大进展。因此,我们现在习惯于向智能手机和数字家庭助手发出语音命令,这些设备的识别精度已经达到了令人印象深刻的水平。与语音助手领域的这些发展相对应,我们注意到聊天机器人技术在最近几年的快速发展。聊天机器人,无论是简单的还是复杂的,通常也能处理自然语言,现在广泛应用于各种应用领域,例如,处理客户服务请求。 这些技术的进步导致在过去几年中对CRS的兴趣增加。然而,与以前的许多方法相比,我们注意到今天的技术建议更多地是基于机器学习技术,而不是遵循预先定义的对话路径,用于确定要向用户询问的下一个问题。然而,通常在语音助手和聊天机器人的功能与支持真正的对话推荐场景(如系统是语音控制的)所需的功能之间仍然存在差距。 本文从不同的角度对对话推荐系统的文献进行了综述。具体地说,我们将讨论(i)CRS的交互模式(第3节),(ii)CRS基于的知识和数据(第4节), 和(iii)CRS中典型的计算任务(第5节)。然后,我们讨论CRS的评估方法(第6节),最后展望未来的发展方向。

对话系统的特征描述

关于什么是CRS,文献中没有一个公认的定义。在这项工作中,我们使用以下定义。 CRS是一个软件系统,它支持用户通过多回合的对话来实现推荐相关的目标。

CRS的概念架构:在过去的二十年中,人们提出了各种CRS模型的技术途径。这些解决方案的技术体系结构的细节取决于系统的功能,例如,是否支持语音输入。尽管如此,仍然可以确定此类体系结构的许多典型概念组件,如图1所示。

CRS交互模式

最近对CRS的兴趣是由NLP的发展和技术进步(如宽带移动互联网接入和智能手机和家庭助手等新设备)推动的。然而,我们对文献的回顾表明,用户和CRS之间的交互既不局限于自然语言输入和输出,也不局限于特定的设备。

知识和背景数据

根据所选择的技术方法,CRS必须结合各种类型的知识和背景数据才能发挥作用。显然,像任何推荐人一样,必须有关于推荐项目的知识。同样,推荐的生成要么基于明确的知识,例如推荐规则或约束,要么基于在一些背景数据上训练的机器学习模型。然而,对话系统通常依赖于其他类型的知识,例如对话中的可能状态,或者用于训练机器学习模型的数据,如记录和转录的自然语言推荐对话。

计算任务

在讨论了推荐对话中可能的用户意图之后,我们现在将回顾CRS的常见的计算任务和技术方法。我们区分(i)主要任务,即那些与推荐过程更直接相关的,例如,计算推荐或确定下一个要问的问题,以及(ii)额外的支持任务。

介绍对话系统的评价

一般情况下,推荐系统可以通过不同的方法从不同的维度进行评价。首先,当系统在其使用上下文中进行评估时,即,当它被部署时,我们通常最感兴趣的是通过A/B测试来衡量系统是否达到了设计目标的具体关键性能指标(KPI),例如,增加的销售数字或用户参与度。其次,用户研究(实验室实验)通常调查与系统感知质量相关的问题。常见的质量维度是建议的适宜性、流程的可感知透明性或易用性。最后,计算性实验不需要用户参与评估,而是基于客观指标来评估质量,例如,通过测量建议的多样性或计算运行时间来预测测试集中的辅助评级的准确性。同样的质量维度和研究方法也适用于CRS。然而,在比较面向算法的研究和对话系统的研究时,我们发现评估的主要焦点往往是不同的。由于CRS是高度交互的系统,因此与人机交互有关的问题更常用于这些系统的研究。此外,在测量方法方面,CRS评估不仅关注任务的完成,即,如果建议是合适的或最终被接受的,但也涉及到与谈话本身的效率或质量有关的问题。

总结和未来工作

总的来说,我们的研究表明,CRS领域在过去几年中出现了一定程度的复兴,其中最新的方法依赖于机器学习技术,尤其是深度学习和基于自然语言的交互。考虑到语音控制系统(如智能音箱)最近的兴起,以及聊天机器人系统的日益普及,我们预计在未来几年将看到对CRS的更多研究。虽然在某些方面取得了重大进展,但仍有许多领域需要进行更多的研究。在接下来的文章中,我们将概述一些有待解决的问题以及该领域未来可能的发展方向。 第一个问题涉及模式的选择。尽管近年来,“自然语言”越来越流行,但究竟哪种情况下“自然语言”才是最好的选择,目前还不完全清楚。需要进行更多的研究来了解哪种模式适合当前给定的任务和情况,或者是否应该向用户提供替代模式。一个有趣的研究方向还在于解释用户的非言语交际行为。此外,完全基于语音的CRS也有一定的局限性,例如,在一个交互周期中提供完整的推荐集合。在这种情况下,用户可能希望对一组推荐进行总结,因为在大多数情况下,当CRS向用户推荐过多(例如多于两三个)选项时,这可能没有意义。

成为VIP会员查看完整内容
0
95

题目: 机器学习的隐私保护研究综述

简介:

大规模数据收集大幅提升了机器学习算法的性能,实现了经济效益和社会效益的共赢,但也令个人隐私保护面临更大的风险与挑战.机器学习的训练模式主要分为集中学习和联邦学习2类,前者在模型训练前需统一收集各方数据,尽管易于部署,却存在极大数据隐私与安全隐患;后者实现了将各方数据保留在本地的同时进行模型训练,但该方式目前正处于研究的起步阶段,无论在技术还是部署中仍面临诸多问题与挑战.现有的隐私保护技术研究大致分为2条主线,即以同态加密和安全多方计算为代表的加密方法和以差分隐私为代表的扰动方法,二者各有利弊.为综述当前机器学习的隐私问题,并对现有隐私保护研究工作进行梳理和总结,首先分别针对传统机器学习和深度学习2类情况,探讨集中学习下差分隐私保护的算法设计;之后概述联邦学习中存的隐私问题及保护方法;最后总结目前隐私保护中面临的主要挑战,并着重指出隐私保护与模型可解释性研究、数据透明之间的问题与联系.

成为VIP会员查看完整内容
机器学习的隐私保护研究综述.pdf
0
83

题目: Survey of Personalization Techniques for Federated Learning

简介:

联邦学习使机器学习模型可以从分散的数据中学习,而不会损害隐私。 联邦学习的标准制定为所有客户提供了一种共享模型。 由于跨设备的非IID数据分布造成的统计异质性通常导致以下情况:对于某些客户,仅对自己的私有数据进行训练的局部模型的性能要优于全局共享模型,从而丧失了参与该过程的动力。 已经提出了几种技术来个性化全局模型,以更好地为单个客户服务。 本文强调了个性化的必要性,并对有关该主题的最新研究进行了调查。

目录:

成为VIP会员查看完整内容
0
58

题目: A Survey on Knowledge Graph-Based Recommender Systems

摘要:

为了解决信息爆炸问题,提高用户在各种在线应用中的体验,人们开发了推荐系统来模拟用户的偏好。尽管人们已经为更个性化的推荐做了很多努力,但是推荐系统仍然面临着一些挑战,如数据稀疏和冷启动。近年来,以知识图为辅助信息的推荐生成引起了人们的极大兴趣。这种方法不仅可以缓解上述问题,使推荐更加准确,而且可以为推荐项目提供解释。本文对基于知识图的推荐系统进行了系统的研究。我们收集了最近在这一领域发表的论文,并从两个角度对其进行了总结。一方面,我们通过研究论文如何利用知识图进行精确和可解释的推荐来研究所提出的算法。另一方面,我们介绍了这些工作中使用的数据集。最后,提出了该领域的几个潜在研究方向。

成为VIP会员查看完整内容
0
122

题目: Advances in Collaborative Filtering and Ranking

摘要: 在这篇论文中,我们讨论了协同过滤和排序的一些最新进展。第一章简要介绍了协同过滤与排序的历史与现状;第二章首先讨论了图信息的点态协同过滤问题,以及我们提出的新方法如何对深度图信息进行编码,从而帮助现有的四种图信息协同过滤算法;第三章介绍了协同排序的两两方法,以及如何将算法加速到接近线性的时间复杂度;第4章是关于新的列表方法的协作排序,以及如何更好的选择列表方法的损失显式和隐式反馈超过点和两两损失;第5章是关于我们提出的新的正则化技术——随机共享嵌入(SSE),以及它在6个不同的任务(包括推荐和自然语言处理)中的理论有效性和经验有效性;第6章是我们如何在SSE的帮助下,为最先进的顺序推荐模型引入个性化,这对于防止我们的个性化模型对训练数据的过度拟合起到了重要的作用;第7章,我们总结了目前所取得的成果,并展望了未来的发展方向;第八章是所有章节的附录。

成为VIP会员查看完整内容
0
29

题目: A Survey on Distributed Machine Learning

简介: 在过去十年中,对人工智能的需求已显着增长,并且这种增长得益于机器学习技术的进步以及利用硬件加速的能力,但是,为了提高预测质量并在复杂的应用程序中提供可行的机器学习解决方案,需要大量的训练数据。尽管小型机器学习模型可以使用一定数量的数据进行训练,但用于训练较大模型(例如神经网络)的输入与参数数量成指数增长。由于处理训练数据的需求已经超过了计算机器的计算能力的增长,因此急需在多个机器之间分配机器学习工作量,并将集中式的精力分配到分配的系统上。这些分布式系统提出了新的挑战,最重要的是训练过程的科学并行化和相关模型的创建。本文通过概述传统的(集中的)机器学习方法,探讨了分布式机器学习的挑战和机遇,从而对当前的最新技术进行了广泛的概述,并对现有的技术进行研究。

成为VIP会员查看完整内容
0
80

论文题目: Privacy-Preserving Gradient Boosting Decision Trees

论文作者: Qinbin Li, Zhaomin Wu, Zeyi Wen, Bingsheng He

论文摘要: 梯度提升决策树(GBDT)是近年来用于各种任务的流行机器学习模型。在本文中,我们研究如何在保留差异性隐私的有力保证的同时提高GBDT的模型准确性。敏感度和隐私预算是差异化私人模型有效性的两个关键设计方面。现有的具有差分隐私保护的GBDT解决方案由于过于宽松的敏感性界限和无效的隐私预算分配(尤其是GBDT模型中的不同树)而导致严重的准确性损失。松散的灵敏度范围导致更多的噪声以获得固定的优先级。无效的隐私预算分配使准确性降低,尤其是在树的数量很大时。因此,我们提出了一种新的GBDT训练算法,该算法可实现更严格的灵敏度范围和更有效的噪声分配。具体而言,通过研究梯度的属性和每棵树在GBDT中的贡献,我们提出针对每个迭代和叶节点修剪自适应地控制训练数据的梯度,以收紧敏感度范围。此外,我们设计了一种新颖的增强框架,可以在树之间分配隐私预算,从而可以减少准确性损失。我们的实验表明,与其他基准相比,我们的方法可以实现更好的模型准确性。

成为VIP会员查看完整内容
0
26
小贴士
相关VIP内容
【中国人民大学】机器学习的隐私保护研究综述
专知会员服务
83+阅读 · 2020年3月25日
相关资讯
差分隐私保护:从入门到脱坑
FreeBuf
12+阅读 · 2018年9月10日
推荐系统概述
Linux爱好者
19+阅读 · 2018年9月6日
【推荐】RecSys 2017深度总结
LibRec智能推荐
5+阅读 · 2018年3月19日
综述——隐私保护集合交集计算技术研究
计算机研究与发展
14+阅读 · 2017年10月24日
相关论文
Qingyu Guo,Fuzhen Zhuang,Chuan Qin,Hengshu Zhu,Xing Xie,Hui Xiong,Qing He
82+阅读 · 2020年2月28日
Generative Adversarial Networks: A Survey and Taxonomy
Zhengwei Wang,Qi She,Tomas E. Ward
11+阅读 · 2019年6月4日
Xiang Wang,Xiangnan He,Meng Wang,Fuli Feng,Tat-Seng Chua
8+阅读 · 2019年5月20日
Chih-Ming Chen,Chuan-Ju Wang,Ming-Feng Tsai,Yi-Hsuan Yang
6+阅读 · 2019年2月19日
Theo Ryffel,Andrew Trask,Morten Dahl,Bobby Wagner,Jason Mancuso,Daniel Rueckert,Jonathan Passerat-Palmbach
4+阅读 · 2018年11月13日
RippleNet: Propagating User Preferences on the Knowledge Graph for Recommender Systems
Hongwei Wang,Fuzheng Zhang,Jialin Wang,Miao Zhao,Wenjie Li,Xing Xie,Minyi Guo
7+阅读 · 2018年8月7日
Rex Ying,Ruining He,Kaifeng Chen,Pong Eksombatchai,William L. Hamilton,Jure Leskovec
10+阅读 · 2018年6月6日
Guang-Neng Hu,Xin-Yu Dai,Feng-Yu Qiu,Rui Xia,Tao Li,Shu-Jian Huang,Jia-Jun Chen
6+阅读 · 2018年3月26日
Hongwei Wang,Fuzheng Zhang,Jialin Wang,Miao Zhao,Wenjie Li,Xing Xie,Minyi Guo
11+阅读 · 2018年3月9日
Hongwei Wang,Fuzheng Zhang,Xing Xie,Minyi Guo
19+阅读 · 2018年1月30日
Top