悉尼科技大学最新可信推荐综述，提出可信推荐生态系统并概括9个方面的发展

2022 年 10 月 11 日 机器学习与推荐算法

嘿，记得给“机器学习与推荐算法”添加星标

作者：汪守金
单位：悉尼科技大学

可信推荐系统，作为一种新兴的推荐系统范式，正方兴未艾，大量的新技术和新方法层出不穷。这篇综述对该领域的主要问题、关键挑战、未来方向等方面提供了一个综合而全面的认知。

论文简介

文章题为《Trustworthy Recommender Systems》，论文第一作者为悉尼科技大学数据科学研究所助理教授汪守金博士。他在数据挖掘、机器学习、用户行为分析与建模、时序数据分析、推荐系统和虚假新闻检测等方面有着较为深入的研究。这篇文章是可信推荐系统方向的一篇较为系统全面的综述文章。全文共16页，包含7个章节、3幅插图和58篇该领域内有代表性的参考文献。汪守金博士经过长期的积累和思考，对可信推荐系统这一领域进行了全面而深入的梳理和总结。

在该文中，作者提出了可信推荐生态系统的新概念，并全面分析了描述可信推荐系统的九个方面。作者还提供了一个新颖的四阶段框架来系统地说明可信推荐系统，并分析了每个阶段的挑战。最后，作者给出了一个支持可信推荐系统的概念框架以及这个领域的未来方向。

该文由浅入深，语言力求通俗易懂，举例丰富，有深入的理论分析，既适合科研工作者阅读，也适合工程人员阅读。作者希望该文能给相关的研究人员提供一个对该领域研究的主要问题以及涉及的各个方面、主要挑战一个全面而综合的了解，同时给未来的研究提供一些启发。

链接：https://arxiv.org/abs/2208.06265

一、摘要

推荐系统(RS)旨在帮助用户从海量的大型候选目录中有效地检索他们感兴趣的物品。很长一段时间以来，研究人员和从业人员一直专注于开发准确的推荐系统。近年来，攻击、系统和用户噪声、系统偏差对推荐系统造成的威胁越来越多。因此，很明显，研究工作不能仅仅限定于关注推荐系统的准确性，必须考虑其他重要因素，例如可信度。对于最终用户而言，可信推荐系统(TRS)不仅应该准确，而且应该透明、公正、公平，并且对噪声或攻击具有鲁棒性。这些问题引起了推荐系统的研究范式转变：从以准确性为导向的推荐系统RS到可信推荐系统TRS。然而，研究人员缺乏对TRS这一新颖且快速发展领域的文献概述和讨论。为此，在本文中，作者概述了TRS，包括讨论TRS的动机和基本概念，介绍构建TRS的挑战，以及对该领域未来方向的展望。此外，本文还提供了一个新的概念框架来支持TRS的构建。

二、引言

2.1 为什么需要可信推荐系统

我们生活在信息爆炸和数字经济时代，信息过载问题变得越来越重要。事实上，现在的人们通常从大量且快速增加的产品和服务目录（通常称为项目）中进行选择，这需要花费大量时间来鉴别相关项目和不相关项目。为了以更有效和高效的方式做出明智的选择和决策，推荐系统(RS)已被引入我们日常生活、工作、商业、学习、娱乐和社交的几乎每个方面。如今，RS是人工智能(AI)最重要和最受欢迎的应用领域之一。从形式上讲，RS是软件工具和技术，可为最终用户可能感兴趣的项目提供建议。根据麦肯锡的报告，35%的客户在亚马逊上购买的内容和75%的用户在Netflix上观看的内容来自于推荐系统。

自1992年第一个RS“Tapestry”（当时被称为协同过滤技术）提出以来，RS在过去30年中蓬勃发展并取得了巨大成功；已经开发和部署了包括基于内容的过滤、协同过滤和混合方法在内的一系列RS方法和模型，其中大部分都取得了良好的推荐性能。近年来，得益于机器学习，尤其是深度学习的进步，人们提出了更强大、更准确的RS模型。

尽管在RS领域取得了巨大的成功，但现有的大部分研究工作都集中在提高系统准确性上，而只有一小部分文献还考虑了RS的一些其他重要性质和价值，例如多样性和新颖性。事实上，现有的以准确性为导向的RS并没有在更广泛的人机交互环境中正确考虑最终用户，而其他重要因素通常被认为对整体用户体验至关重要。除此之外，还有一些特别问题需要特别注意。首先，部署RS的网络空间变得越来越复杂，充满了各种来源、性质多样的威胁，包括网络攻击、噪声和虚假信息以及系统偏差。这引发了对旨在在复杂和具有挑战性的网络空间中竞争的可信推荐系统(TRS)的需求。其次，包括RS的用户、所有者和监管者在内的利益相关者对RS的需求越来越高。这些利益相关者不仅要求推荐的准确性，还需要可信度，包括鲁棒性、公平性、可解释性、隐私保护等。实际上，在金融、医学等一些敏感领域，可信度甚至比准确性更重要。在实践中，学术界和工业界都已经达成共识，准确性不应该是RS的唯一关注点，必须优先考虑可信度。这些分析引发了对新的RS范式的迫切需求，即TRS。

2.2 什么是可信推荐系统

一般来说，TRS是指其利益相关者可以信赖的良好、可信赖、可靠和忠实的RS。

推荐过程具有复杂且交互性强的特点，它涉及多个实体，例如用户、项目、RS，甚至物品的提供者（例如，卖家）。它们实际上形成了一个推荐生态系统，使推荐活动成为可能。在实践中，这些方面也对应于推荐的必要元素：数据（即用户/项目/提供者相关信息，例如，用户-项目交互）、方法和模型（即RS）。

TRS实际上是可信生态系统中构建的可信RS方法和模型的结果。尽管可信RS方法和模型对于实现可信推荐至关重要，但如果没有可信生态系统，它们就无法生存。文献中的大多数研究只讨论了可信RS方法，而忽略了可信生态系统的重要性。因此，本文首先提出了可信推荐生态系统的新概念，这是构建可信RS的基础。此外，可信推荐生态系统可以很好地将可信推荐系统与一般讨论的可信人工智能（AI）区分开来，因为它源于推荐场景的核心特征和属性。然后，本文说明了RS“可信度”的各个方面，重点是推荐方法和模型的可信度。最后，本文描述了一些在现实世界中可信RS的具体例子。

2.3 可信推荐系统生态

可信推荐生态系统由可信赖的用户、项目、提供者和RS组成，下面将依次说明。

可信赖的用户。 使用推荐系统的用户，可能具有不同的特征并在网络空间中执行各种任务。一些用户可能不值得信任，并且可能试图阻碍RS的正常运行。例如，识别特殊用户（例如，互联网水军和互联网黑客）并不少见，他们可能试图与物品进行虚假或错误的交互，使推荐模型偏向特定人，甚至实现某些恶意目的（例如，有偏见的产品促销）。因此，为了建立一个可信的RS，只有可信的用户才应该被授权操作。值得信赖的用户大致可以分为两个方面进行描述：(1)用户画像信息真实、准确，用户在推荐平台上的行为反映真实的偏好和意图；(2)用户应该在他们的交互行为中保持良好的声誉，例如，他们应该为物品写真实客观的评论或评分，并按时支付购买的物品。

可信赖的物品。 通常，在线消费平台上的商品数量众多，种类繁多。项目具有不同的特点，可以给RS利益相关者带来不同的影响，这些利益相关者包括个人用户、当地社区甚至整个社会。虽然大部分项目能够很好地满足用户的需求，并且从长远来看可以对利益相关者的利益产生积极影响，但有些项目可能会对个人用户、社区或社会产生负面影响。例如，电子游戏通常能很好地匹配儿童的喜好。但这些游戏往往会造成上瘾，对用户的生活、工作或学习产生负面影响，从而对用户及其家人造成重大不利影响。另一个例子是假新闻，它可能与一些少数用户的立场和阅读偏好相匹配。但它们误导公众，并可能引起严重的社会问题，不应该向最终用户推荐。为此，可信RS应该只推荐可信赖的项目。可信赖的项目可以体现在两个方面：(1)用于推荐的物品相关信息（例如物品属性）应该真实准确，以便轻松捕捉所有物品的内在特征；(2)推荐给最终用户的候选项目应该是可信赖的和负责任的，即这些项目不能给RS的利益相关者带来潜在的负面影响。

可信赖的提供者。 提供者是在线平台上提供物品的一方。例如，提供者可能是电子商务平台中的卖家，或者是发布新闻领域原创新闻的新闻源网站。在现实世界中，一些提供者不值得信赖，因为他们可能提供假货或劣质商品，从而对最终用户和社会造成负面影响。例如，一些卖家可能会销售假冒产品，而一些新闻网站可能会发布假新闻。显然，值得信赖的提供者是构建可信RS所必需的，它们的特点可以分为两个方面：(1)提供者应对其提供的项目的质量和潜在影响负责。例如，卖家应提供质量有保证的产品或服务，而新闻网站应在打击假新闻的同时只提供经过验证的真实新闻；(2)提供者通过其历史交易或发布行为来保持良好的声誉很重要。

可信RS。 通常建立在数据挖掘或机器学习模型上的推荐方法应该是可靠和稳定的。具体来说，它们不仅要能够准确捕捉用户的偏好和物品的特征，从而为最终用户提供准确的推荐服务，而且要始终保持稳定，即使在最复杂、动态和具有挑战性的环境中（例如，网络空间面临频繁的网络攻击）。可信赖的方法和模型是可信RS中最重要的部分，它们可以具有多个特定方面的特征，将在下一部分详细讨论。

2.4 可信推荐系统的九个方面

在一些相关领域，例如可信人工智能，已经提出了许多不同的方面来从法规、机制和技术等角度来指定“可信”。与技术视角相关的几个方面已得到普遍认可，包括鲁棒性、公平性、可解释性、透明度、隐私性、问责制和责任感。由于RS是人工智能的特定应用领域，因此用于定义可信人工智能的方面也适用于定义可信RS。但是，由于RS的数据特性、工作机制和计算任务非常特殊和具体，因此还要考虑人的感知和可信度评估等RS场景特有的附加方面。它们可以很好地区分可信RS和可信人工智能。接下来，我们说明了表征可信RS的各个方面。

（1）鲁棒性表示一个RS应该具有很强的容错能力，可以抵御攻击、噪声和虚假信息（例如，用户的任意行为和对项目的虚假评论/评级）；这些信息通常会影响用于推荐的输入数据。

（2）公平性表明RS能够减少或消除对可能存在于输入数据、推荐模型或推荐结果中的某些利益相关者群体的可能偏差（例如，在对待具有不同人口统计数据或低受欢迎程度和高人气的项目的用户方面的差异）。因此，最终的推荐结果应该从用户角度和提供者角度都评估为公平。

（3）透明度通常意味着功能机制和推荐模型对RS的所有利益相关者都是透明的，而不是被视为“黑匣子”。透明度可以大大降低在现实世界部署无效RS的潜在风险，特别是在金融和医疗保健领域等一些敏感和关键领域。

（4）可解释性意味着推荐机制、推荐模型和推荐结果应该得到很好的解释，以便RS的利益相关者能够正确理解推荐的生成方式和原因。（5）隐私和安全意味着RS能够有效保护相关利益相关者的个人隐私。与其它Web应用程序相比，这在RS中更为重要，因为RS消耗大量的配置文件和行为，这些配置文件和行为通常包含敏感的用户特征。

（6）责任感。 RS的开发和部署应以负责任的方式进行（例如，遵守法规和法律），以便RS不会伤害任何人。此外，生成的推荐结果应该对所有利益相关者都有益。例如，不应向任何用户推荐假新闻，即使某些用户可能会感兴趣，或者也不应向儿童推荐令其成瘾的游戏。

（7）人类对可信度的感知，这与相关利益相关者对RS可信度的主观感知有关。这是RS独有的，意义重大。事实上，一个RS实际上涉及人机交互，而一个RS是否值得信赖，最终取决于人的感觉和感知。然而，几乎所有现有的可信RS建模方法都是通过机器的观点开发的，即RS模型和算法，而忽略了人的因素。此外，现有工作经常机械地计算数值测量值来量化RS的可信度。现有工作对人类因素缺乏考虑，这引发了在谈论可信RS时考虑人类感知的迫切需求。

（8）可信度整合。 尽管已经提出了各种方面和观点来表征可信RS，但它们大多是相互分离的。此外，现有的关于可信RS的大多数研究都只关注可信性的一个或两个方面。例如，公平感知RS和可解释RS分别只关注公平性和可解释性方面。但是，仅考虑一两个方面并不能生成真正的可信RS。为了构建真正的可信RS，上述所有不同方面，包括客观和主观方面，都应该有机有效地整合在一起，形成一个统一的可信RS框架。

（9）可信评估。 一方面，评估方法和评估指标都必须可靠，才能准确地反映RS的性能。例如，大多数离线评估都是在非常理想的情况下执行的，因此它们实际上无法指示RS在现实世界的在线场景中将如何执行。另一方面，需要新的评估协议和指标来评估RS的可信度，以便可以适当地验证所有上述方面。

尽管这些不同的方面涉及各种问题，并且通常对应于RS的不同要素和阶段，但它们紧密相连，必须被共同解决以提高RS的“可信度”。例如，公平通常与可解释性有关。事实上，所考虑的公平性视角（例如，用户的性别或物品受欢迎程度）以及如何保证公平性应该对最终用户进行解释，以便他们能够清楚地理解和接受生成的公平推荐结果。

2.5 现实世界中可信推荐系统实例

几十年来，RS已在我们日常工作、学习或娱乐的几乎所有信息系统中得到广泛应用。近年来，随着越来越多的网络威胁（包括网络攻击、虚假或错误的在线信息、网络空间的偏差）的发生，可信推荐系统显然是一种需求。在不同的应用领域，有各种各样的可信推荐系统的例子。在电子商务领域，一个典型的例子是强大的RS，它可以在Ebay或Amazon等平台上自动抵制虚假评级和评论。这种类型的RS会检测到平台中插入的虚假评级和评论，并在生成可信赖的推荐时将其丢弃。在媒体领域，一个典型的例子是最近为新闻领域提出的事实核查技术（例如，谷歌事实核查工具），它引入了一系列技术来检查网络上新闻的真实性，只有经过验证的真实新闻才会被推荐给最终用户。另一个典型的例子是在WWW 2022会议上发表的真实性感知新闻推荐系统。该系统在生成推荐之前检查每条新闻的真实性，因此只有经过检查的真实新闻才会推荐给最终用户。

三、推荐的范式转变

3.1 从以准确性为导向的推荐系统到可信推荐系统

从对推荐系统的第一次研究到2010年初，推荐结果的准确性一直是用于评估推荐系统的最重要，且通常是唯一的评估标准。从2010年代初开始，越来越多的研究人员意识到准确度并不足以充分评估推荐系统，因此提出了新的评估维度，包括多样性和新颖性。自2010年代后期以来，由于网络空间中来自网络攻击、噪声和偏差的威胁程度越来越高，推荐系统的可信度越来越受到学术界和工业界的关注。因此，越来越多的研究从鲁棒性、公平性、可解释性或隐私等各个角度关注可信推荐系统。

3.2 从信任感知推荐系统到可信推荐系统

信任感知推荐系统主要考虑和利用人与组织之间的信任关系来提高推荐性能。而可信推荐系统旨在构建可以被人类接受的可靠的推荐系统。然而可信推荐系统的早期定义主要集中在鲁棒性这个方面，忽略了其他一些重要方面，包括公平性、可解释性、隐私和责任等。因此，开发超越鲁棒性导向的下一代可信推荐系统具有重要的理论和现实意义。在本文中，研究者提出了新颖的可信推荐系统，其中考虑了有助于可信推荐系统的九个方面，朝着实现真正的可信推荐系统迈出了重要一步。

3.3 可信推荐系统：四阶段观点

健壮、安全的数据准备阶段

一方面，健壮、安全的数据准备对于打击噪声和虚假信息，以及在网络空间中生成的原始数据中的偏差、抵御可能的对数据的攻击是必要的。这样，为推荐准备的数据可以准确地反映用户的偏好和项目的特征。另一方面，应以安全的方式管理和处理用户的数据，以免敏感和隐私信息泄露。

健壮、可解释的数据表示阶段

采用健壮、可解释的数据表示模型，以稳定的方式精确地学习原始输入数据的信息性和可解释的潜在表示，而不管潜在的攻击。在这个阶段应该强调“可解释性”方面。

公平、透明、可解释和负责任的推荐生成阶段

应采用公平、透明和可解释的推荐模型，以透明、可解释和负责任的方式为不同用户提供所有项目的公平曝光机会。此外，模型还应该能够通过使用与推荐结果相对应的文本或图像来提供直接的解释，以解释推荐是如何生成的以及为什么它们适合给定用户。更重要的是，只有那些对利益相关者有积极影响的项目才会被推荐。

可信评估阶段

包括两个方面的评价：技术评估和伦理评估。技术评估旨在从准确性、多样性、新颖性和可解释性等技术角度评估推荐性能。评估此类技术性能需要更值得信赖和可靠的评估协议和指标。相比之下，伦理评估旨在从伦理角度评估推荐，例如责任和社会影响。

四、建立可信推荐系统的挑战

上一节分析了可信推荐系统四个阶段，这四阶段中每一个阶段都面临着不同的挑战。因此，在本节中分析了每个阶段所面临的问题和特殊挑战。

数据准备阶段的挑战

（1）数据准备阶段的一大挑战是有效地检测和去除问题数据，例如噪声、虚假或有偏差的数据，并保留真实数据。
（2）数据准备阶段的另一个挑战与数据隐私和安全问题有关。

数据表示学习阶段的挑战

（1）如何学习准确的表示来精确保留原始数据中的原始信息。
（2）如何学习可解释的表示。
（3）如何对抗对表示学习模型的攻击。

推荐生成阶段的挑战

（1）如何构建鲁棒的推荐模型，以抵御各种攻击，尤其是防备复杂网络空间中的恶意攻击和对抗性攻击。
（2）如何有效地消除偏差/偏见。
（3）如何构建透明且可解释的推荐模型。
（4）如何确保负责任的推荐行为和符合社会公益的推荐结果。

评估阶段的挑战

（1）一大挑战是对推荐系统的可信度的评估，这涉及多个方面，例如鲁棒性、公平性、可解释性和隐私性。
（2）另一大挑战是伦理评估，这是因为推荐系统在个人层面和社会层面的各种影响和影响很难准确捕捉和量化。

五、可信推荐系统框架

如何提出一套系统的方法来构建一个可信推荐系统，同时考虑不同阶段的不同方面的需求，是一项重大的挑战。这需要一个统一的框架来建立可信推荐系统。因此，为了弥合这一差距，我们提出了一个概念框架来支持可信推荐系统。与第3节中提出的推荐过程的四个阶段一致，本文提出的可信RS框架由四个阶段组成：

（1）可信数据准备。
（2）健壮、可解释的数据表示。
（3）公平、透明、可解释和负责任的推荐生成。
（4）可信评估。

六、未来发展方向

以人为中心的可信推荐系统
可信推荐生态系统
多粒度公平感知可信推荐系统
细粒度的个性化推荐系统
负责任的推荐系统
新的评估协议和指标

七、结论

可信推荐系统（TRS）是一个极具挑战性且要求很高的课题，具有很高的理论和实践价值。在本文中，我们对该主题进行了全面的概述，通过全面分析指定推荐系统可信度的各个方面来全面描述可信推荐系统；提出了一个新颖的四阶段框架来系统地说明可信推荐系统，并分析了在构建可信推荐系统的四个阶段中每个阶段的相应挑战。我们还描述了一个支持可信推荐系统的概念框架，并指出了这个充满活力的领域的一些未来方向。可信推荐系统的研究正在蓬勃发展，我们希望这项工作能够让读者全面了解构建可信推荐系统的关键方面、主要挑战、关键技术，并为未来的研究提供一些指导。

关于本文的细节可阅读原论文。

部分参考文献：

Shoujin Wang, Longbing Cao, Yan Wang, Quan Z Sheng, Mehmet A Orgun, and Defu Lian. 2021. A survey on session-based recommender systems. Comput. Surveys 54, 7 (2021), 1–38.
Shoujin Wang, Xiaofei Xu, Xiuzhen Zhang, Yan Wang, and et al. 2022. Veracity-aware and event-driven personalized news recommendation for fake news mitigation. In WWW. 3673–3684.