推荐系统在我们的日常生活中发挥着越来越重要的作用,特别是在许多以用户为导向的在线服务中,推荐系统在缓解信息过载问题方面发挥着重要作用。推荐系统的目标是通过利用用户和物品的交互来提高匹配的准确性,识别出一组最符合用户显性或隐性偏好的对象(即物品)。

随着深度神经网络(DNNs)在过去几十年的快速发展,推荐技术已经取得了良好的性能。然而,现有的基于DNN的方法在实践中存在一些缺陷。更具体地说,他们认为推荐过程是一个静态的过程,并按照一个固定的贪心策略进行推荐; 现有的大多数基于DNN的推荐系统都是基于手工制作的超参数和深度神经网络架构;它们将每个交互视为单独的数据实例,而忽略了实例之间的关系。

在本教程中,我们将全面介绍深度推荐系统中解决上述问题的先进技术的最新进展,包括深度强化学习(DRL)、自动机器学习(AutoML)和图神经网络(GNN)。

通过这种方式,我们希望这三个领域的研究人员能够对空间有更深刻的理解和准确的洞察,激发更多的想法和讨论,促进推荐技术的发展。

https://deeprs-tutorial.github.io/

成为VIP会员查看完整内容
0
56

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

近年来,基于图学习的推荐系统(GLRS)这个新兴话题得到了快速发展。GLRS采用高级的图学习方法来建模用户的偏好和意图,以及物品的特征来进行推荐。与其他RS方法(包括基于内容的过滤和协同过滤)不同,GLRS是建立在图上的,其中重要对象(如用户、物品和属性)是显式或隐式连接的。

随着图学习技术的快速发展,探索和开发图中的同质或异质关系是构建更有效的RS的一个有前途的方向。通过讨论如何从基于图的表示中提取重要的知识,以提高推荐的准确性、可靠性和可解释性。

首先对GLRS进行了表示和形式化,然后对该研究领域面临的主要挑战和主要进展进行了总结和分类。

引言

推荐系统(RS)是人工智能(AI)最流行和最重要的应用之一。它们已被广泛采用,以帮助许多流行的内容分享和电子商务网站的用户更容易找到相关的内容、产品或服务。与此同时,图学习(Graph Learning, GL)是一种新兴的人工智能技术,它涉及到应用于图结构数据的机器学习,近年来发展迅速,显示出了其强大的能力[Wu et al., 2021]。事实上,得益于这些学习关系数据的能力,一种基于GL的RS范式,即基于图学习的推荐系统(GLRS),在过去几年中被提出并得到了广泛的研究[Guo等人,2020]。在本文中,我们对这一新兴领域的挑战和进展进行了系统的回顾。

动机: 为什么要用图学习RS?

RS中的大部分数据本质上是一个图结构。在现实世界中,我们身边的大多数事物都或明或暗地相互联系着;换句话说,我们生活在一个图的世界里。这种特征在RS中更加明显,这里考虑的对象包括用户、物品、属性、上下文,这些对象之间紧密相连,通过各种关系相互影响[Hu et al., 2014],如图1所示。在实践中,RS所使用的数据会产生各种各样的图表,这对推荐的质量有很大的帮助。

图学习具有学习复杂关系的能力。作为最具发展前景的机器学习技术之一,GL在获取嵌入在不同类型图中的知识方面显示出了巨大的潜力。具体来说,许多GL技术,如随机游走和图神经网络,已经被开发出来学习特定类型的关系由图建模,并被证明是相当有效的[Wu et al., 2021]。因此,使用GL来建模RS中的各种关系是一个自然和令人信服的选择。

图学习如何帮助RS? 到目前为止,还没有统一的GLRS形式化。我们通常从高层次的角度对GLRS进行形式化。我们用一个RS的数据构造一个图G = {V, E},其中对象(如用户和商品)在V中表示为节点,它们之间的关系(如购买)在E中表示为边。构建并训练GLRS模型M(Θ)学习最优模型参数Θ,生成最优推荐结果R。

根据具体的推荐数据和场景,可以以不同的形式定义图G和推荐目标R,例如,G可以是同质序列或异构网络,而R可以是对物品的预测评级或排名。目标函数f可以是最大效用[Wang et al., 2019f]或节点之间形成链接的最大概率[Verma et al., 2019]。

这项工作的主要贡献总结如下:

• 我们系统地分析了各种GLRS图所呈现的关键挑战,并从数据驱动的角度对其进行分类,为更好地理解GLRS的重要特征提供了有用的视角。

• 我们通过系统分类较先进的技术文献,总结了目前GLRS的研究进展。

• 我们分享和讨论了一些GLRS开放的研究方向,供社区参考。

成为VIP会员查看完整内容
0
35

现代推荐系统(RS)使用各种机器学习(ML)模型为用户提供个性化推荐。尽管ML模型在推荐方面取得了巨大的成功,但对于竞争对手来说,它们往往不够强大,后者可能会采取措施将推荐转化为恶意结果。在2000年至2015年期间,人工设计的假档案(又称先令攻击)的注入是研究的重点,过去几年的特点是对抗机器学习(AML)技术的崛起,即基于机器学习的方法来攻击和防御RS。

在本教程中,我们将概述RS中的AML应用,特别是,我们将介绍RS中的AML使用的双重分类:一种基于对抗性攻击和防御研究的分类,针对模型参数、内容数据或用户元素交互; 二是利用生成对抗网络(GAN)提出新的推荐模型。

https://www.ecir2021.eu/tutorials/

目录内容:

引言 对抗机器学习 生成式对抗网络 对抗学习推荐系统

成为VIP会员查看完整内容
0
18

2021年第14届国际网络搜索与数据挖掘会议WSDM将在2021年3月8日到12日于线上举行。今年此次会议共收到了603份有效投稿,最终录取篇数为112篇,录取率为18.6%。在WSDM上,有关于《偏见感知推荐系统的进展》教程值得关注!

排名和推荐系统在当今的网络平台上扮演着关键角色,肯定会影响到大量用户的信息搜索行为。然而,这些系统是根据经常传递不平衡和不平等的数据进行训练的,这些模式可能在系统提供给最终用户的结果中被捕捉和强调,从而产生偏见,提供不公平的结果。鉴于偏见信息寻求成为一个威胁,

(1) 研究跨学科概念和问题空间,

(2) 制定和设计一个bias-aware算法管道,和

(3)和减轻落地的偏见的影响,同时保留底层系统的有效性,正在迅速成为热门的研究热点。

本教程是围绕这个主题组织的,向WSDM社区介绍了在评估和缓解推荐系统中的数据和算法偏差方面的最新进展。我们将首先介绍概念基础,通过调研当前的技术状态和描述真实世界的例子,从几个角度(例如,伦理和系统的目标)偏见如何影响推荐算法。

本教程将继续系统地介绍算法解决方案,以便在推荐设计过程中发现、评估和减少偏见。然后,一个实用的部分将向与会者提供处理前、处理中和处理后消除偏见算法的具体实现,利用开源工具和公共数据集。在本部分中,教程参与者将参与偏倚对策的设计,并阐明对利益相关者的影响。最后,我们将分析这个充满活力和迅速发展的研究领域中出现的开放问题和未来的方向,从而结束本教程。

https://biasinrecsys.github.io/wsdm2021/

成为VIP会员查看完整内容
0
27

大多数大型在线推荐系统,如新闻推送排名、人员推荐、工作推荐等,通常都有多个实用工具或指标需要同时优化。经过训练以优化单一效用的机器学习模型通过参数组合在一起,生成最终的排名函数。这些组合参数驱动业务指标。找到正确的参数选择通常是通过在线A/B实验,这是非常复杂和耗时的,特别是考虑到这些参数对指标的非线性影响。

在本教程中,我们将讨论如何应用贝叶斯优化技术为这样复杂的在线系统获取参数,以平衡竞争性指标。首先,我们将深入介绍贝叶斯优化,包括一些基础知识以及该领域的最新进展。其次,我们将讨论如何将一个真实世界的推荐系统问题制定为一个可以通过贝叶斯优化解决的黑盒优化问题。我们将专注于一些关键问题,如新闻推送排名、人员推荐、工作推荐等。第三,我们将讨论解决方案的架构,以及我们如何能够为大规模系统部署它。最后,我们将讨论该领域的扩展和一些未来的发展方向。

https://sites.google.com/view/ijcai2020-linkedin-bayesopt/home

成为VIP会员查看完整内容
0
27

生成对抗网络(GANs)在过去的几年里得到了广泛的研究。可以说,它们最重要的影响是在计算机视觉领域,在这一领域中,图像生成、图像-图像转换、面部属性处理和类似领域的挑战取得了巨大进展。尽管迄今为止已经取得了重大的成功,但将GAN应用于现实世界的问题仍然面临着重大的挑战,我们在这里重点关注其中的三个。这是: (1)生成高质量的图像; (2) 图像生成的多样性; (3) 稳定的训练。我们将重点关注目前流行的GAN技术在应对这些挑战方面取得的进展程度,并对已发表文献中GAN相关研究的现状进行了详细回顾。我们进一步通过一个分类结构,我们已经采用了基于GAN体系架构和损失函数的变化。虽然到目前为止已经提交了几篇关于GANs的综述,但没有一篇是基于它们在解决与计算机视觉相关的实际挑战方面的进展来考虑这一领域的现状。因此,为了应对这些挑战,我们回顾并批判性地讨论了最流行的架构变体和损失变体GANs。我们的目标是在重要的计算机视觉应用需求的相关进展方面,对GAN的研究现状进行概述和批判性分析。在此过程中,我们还将讨论GANs在计算机视觉方面最引人注目的应用,并对未来的研究方向提出一些建议。本研究中所研究的GAN变体相关代码在

https://github.com/sheqi/GAN_Review上进行了总结。

地址: https://www.zhuanzhi.ai/paper/13d539e47a5fb31c850a19db08c63923

生成对抗网络(GANs)在深度学习社区[1]-[6]吸引了越来越多的兴趣。GANs已应用于计算机视觉[7]-[14]、自然语言处理[15]-[18]、时间序列合成[19]-[23]、语义分割[24]-[28]等多个领域。GANs属于机器学习中的生成模型家族。与其他生成模型(如变分自编码器)相比,GANs提供了一些优势,如能够处理清晰的估计密度函数,有效地生成所需样本,消除确定性偏差,并与内部神经结构[29]具有良好的兼容性。这些特性使GANs获得了巨大的成功,特别是在计算机视觉领域,如可信图像生成[30]-[34],图像到图像转换[2],[35]-[41],图像超分辨率[26],[42]-[45]和图像补全[46]-[50]。

然而,GANs并非没有问题。最重要的两点是,它们很难训练,也很难评估。由于训练难度大,在训练过程中判别器和生成器很难达到纳什均衡,生成器不能很好地学习数据集的完整分布是常见的问题。这就是众所周知的模式崩溃问题。在[51]-[54]这一领域进行了大量的研究工作。在评估方面,首要问题是如何最好地衡量目标pr的真实分布与生成的分布pg之间的差异。不幸的是,不可能准确地估算pr。因此,对pr和pg之间的对应关系进行良好的估计是很有挑战性的。以往的研究提出了各种对GANs[55] -的评价指标[63]。第一个方面直接关系到GANs的性能,如图像质量、图像多样性和稳定训练。在这项工作中,我们将研究计算机视觉领域中处理这方面的现有GAN变体,而对第二方面感兴趣的读者可以参考[55][63]。

目前许多GAN研究可以从以下两个目标来考虑:(1)改进训练,(2)将GAN应用于现实应用。前者寻求提高GANs性能,因此是后者(即应用)的基础。考虑到许多已发表的关于GAN训练改进的结果,我们在本文中对这方面最重要的GAN变体进行了简要的回顾。GAN训练过程的改进提供了好处表现如下: (1)改进生成的图像的多样性(也称为模式多样性) ,(2)增加生成的图像质量,和 (3) 包含更多 :(1) 介绍相关GAN综述工作和说明的区别这些评论和这项工作; (2)简要介绍GANs;(3)回顾文献中关于“GAN”的架构变体;(4)我们回顾文献中损失变体的GAN;(5)介绍了GAN在计算机视觉领域的一些应用; (6)引入了GAN的评价指标,并利用部分指标(Inception Score和Frechet Inception Distance, FID)对本文讨论的GAN变量进行了比较;(7)我们总结了本研究中的GANs变体,说明了它们的差异和关系,并讨论了关于GANs未来研究的几种途径。(8)我们总结了这篇综述,并展望了GANs领域可能的未来研究工作。

文献中提出了许多GAN变体来提高性能。这些可以分为两种类型:(1)架构变体。第一个提出的GAN使用完全连接的神经网络[1],因此特定类型的架构可能有利于特定的应用,例如,用于图像的卷积神经网络(CNNs)和用于时间序列数据的循环神经网络(RNNs);和(2)Loss-variants。这里探讨了损失函数(1)的不同变化,以使G的学习更加稳定。

图2说明了我们对2014年至2020年文献中具有代表性GANs提出的分类法。我们将目前的GAN分为两种主要变体,即架构变体和损失变体。在体系架构变体中,我们分别总结了网络体系结构、潜在空间和应用三大类。网络架构范畴是指对GAN架构的整体改进或修改,例如PROGAN中部署的渐进机制。潜在空间类别表示基于潜在空间的不同表示方式对架构进行修改,例如CGAN涉及到编码到生成器和识别器的标签信息。最后一类,应用,指的是根据不同的应用所做的修改,例如,CycleGAN有特定的架构来处理图像风格的转换。根据损失的变化,我们将其分为两类:损失类型和正则化。损失类型是指GANs需要优化的不同损失函数,正则化是指对损失函数设计的额外惩罚或对网络进行任何类型的归一化操作。具体来说,我们将损失函数分为基于积分概率度量和非积分概率度量。在基于IPM的GAN中,鉴别器被限制为一类特定的函数[64],例如,WGAN中的鉴别器被限制为1-Lipschitz。基于非IPM的GAN中的鉴别器没有这样的约束。

成为VIP会员查看完整内容
0
71

可解释的机器学习模型和算法是越来越受到研究、应用和管理人员关注的重要课题。许多先进的深度神经网络(DNNs)经常被认为是黑盒。研究人员希望能够解释DNN已经学到的东西,以便识别偏差和失败模型,并改进模型。在本教程中,我们将全面介绍分析深度神经网络的方法,并深入了解这些XAI方法如何帮助我们理解时间序列数据。

http://xai.kaist.ac.kr/Tutorial/2020/

成为VIP会员查看完整内容
0
130

推荐系统旨在为用户推荐个性化的在线商品或信息, 其广泛应用于众多Web场景之中, 来处理海量信息数据所导致的信息过载问题, 以此提升用户体验. 鉴于推荐系统强大的实用性, 自20世纪90年代中期以来, 研究者针对其方法与应用两方面, 进行了大量广泛的研究. 近年来, 很多工作发现知识图谱中所蕴含的丰富信息可以有效地解决推荐系统中存在的一系列关键问题, 例如数据稀疏、冷启动、推荐多样性等. 因此, 本文 针对基于知识图谱的推荐系统这一领域进行了全面的综述. 具体地, 首先简单介绍推荐系统与知识图谱中的一些基本概念. 随后, 详细介绍现有方法如何挖掘知识图谱不同种类的信息并应用于推荐系统. 此外, 总结了相关的一系列推荐应用场景. 最后, 提出了对基于知识图谱的推荐系统前景的看法, 并展望了该领域未来的研究方向.

成为VIP会员查看完整内容
0
145

【导读】新加坡国立大学的Xiang Wang、Tat-Seng Chua,以及来自中国科学技术大学的Xiangnan He在WSDM 2020会议上通过教程《Learning and Reasoning on Graph for Recommendation》介绍了基于图学习和推理的推荐系统,涵盖了基于随机游走的推荐系统、基于网络嵌入的推荐系统,基于图神经网络的推荐系统等内容。

Tutorial摘要:

推荐方法构建预测模型来估计用户-项目交互的可能性。之前的模型在很大程度上遵循了一种通用的监督学习范式——将每个交互视为一个单独的数据实例,并基于“信息孤岛”进行预测。但是,这些方法忽略了数据实例之间的关系,这可能导致性能不佳,特别是在稀疏场景中。此外,建立在单独数据实例上的模型很难展示推荐背后的原因,这使得推荐过程难以理解。

在本教程中,我们将从图学习的角度重新讨论推荐问题。用于推荐的公共数据源可以组织成图,例如用户-项目交互(二部图)、社交网络、项目知识图(异构图)等。这种基于图的组织将孤立的数据实例连接起来,为开发高阶连接带来了好处,这些连接为协作过滤、基于内容的过滤、社会影响建模和知识感知推理编码有意义的模式。随着最近图形神经网络(GNNs)的成功,基于图形的模型显示了成为下一代推荐系统技术的潜力。本教程对基于图的推荐学习方法进行了回顾,重点介绍了GNNs的最新发展和先进的推荐知识。通过在教程中介绍这一新兴而有前景的领域,我们希望观众能够对空间有更深刻的理解和准确的洞察,激发更多的想法和讨论,促进技术的发展。

Tutorial大纲:

成为VIP会员查看完整内容
0
153

Deep Learning based Recommender System: A Survey and New Perspectives

随着在线信息量的不断增长,推荐系统已成为克服此类信息过载的有效策略。鉴于其在许多网络应用中的广泛采用,以及其改善与过度选择相关的许多问题的潜在影响,推荐系统的实用性不容小觑。近年来,深度学习在计算机视觉和自然语言处理等许多研究领域引起了相当大的兴趣,不仅归功于出色的表现,而且还具有从头开始学习特征表征的吸引人的特性。深度学习的影响也很普遍,最近证明了它在应用于信息检索和推荐系统研究时的有效性。显然,推荐系统中的深度学习领域正在蓬勃发展。本文旨在全面回顾最近基于深度学习的推荐系统的研究工作。更具体地说,我们提供并设计了基于深度学习的推荐模型的分类,并提供了最新技术的综合摘要。最后,我们扩展了当前的趋势,并提供了有关该领域新的令人兴奋的发展的新观点。

成为VIP会员查看完整内容
0
115
小贴士
相关VIP内容
专知会员服务
35+阅读 · 5月7日
专知会员服务
130+阅读 · 2020年8月26日
专知会员服务
145+阅读 · 2020年8月10日
南洋理工大学,深度学习推荐系统综述
专知会员服务
115+阅读 · 2019年10月14日
相关资讯
相关论文
Shahbaz Rezaei,Zubair Shafiq,Xin Liu
0+阅读 · 5月12日
Weiwei Jiang,Jiayun Luo
17+阅读 · 1月27日
Sander Beckers
4+阅读 · 2020年12月10日
DEPARA: Deep Attribution Graph for Deep Knowledge Transferability
Jie Song,Yixin Chen,Jingwen Ye,Xinchao Wang,Chengchao Shen,Feng Mao,Mingli Song
6+阅读 · 2020年3月17日
Auto-GNN: Neural Architecture Search of Graph Neural Networks
Kaixiong Zhou,Qingquan Song,Xiao Huang,Xia Hu
4+阅读 · 2019年9月10日
Meta-GNN: On Few-shot Node Classification in Graph Meta-learning
Fan Zhou,Chengtai Cao,Kunpeng Zhang,Goce Trajcevski,Ting Zhong,Ji Geng
4+阅读 · 2019年5月23日
Confidence-based Graph Convolutional Networks for Semi-Supervised Learning
Shikhar Vashishth,Prateek Yadav,Manik Bhandari,Partha Talukdar
3+阅读 · 2019年2月12日
Hongwei Wang,Fuzheng Zhang,Miao Zhao,Wenjie Li,Xing Xie,Minyi Guo
12+阅读 · 2019年1月23日
Peter W. Battaglia,Jessica B. Hamrick,Victor Bapst,Alvaro Sanchez-Gonzalez,Vinicius Zambaldi,Mateusz Malinowski,Andrea Tacchetti,David Raposo,Adam Santoro,Ryan Faulkner,Caglar Gulcehre,Francis Song,Andrew Ballard,Justin Gilmer,George Dahl,Ashish Vaswani,Kelsey Allen,Charles Nash,Victoria Langston,Chris Dyer,Nicolas Heess,Daan Wierstra,Pushmeet Kohli,Matt Botvinick,Oriol Vinyals,Yujia Li,Razvan Pascanu
6+阅读 · 2018年10月17日
Document Image Classification with Intra-Domain Transfer Learning and Stacked Generalization of Deep Convolutional Neural Networks
Arindam Das,Saikat Roy,Ujjwal Bhattacharya,Swapan Kumar Parui
3+阅读 · 2018年6月26日
Top