【博士论文】基于用户决策行为的个性化推荐方法及应用研究

来自中国科学技术大学的王超博士论文，入选2022年度“CCF优秀博士学位论文奖”初评名单！

https://www.ccf.org.cn/Focus/2022-12-08/781244.shtml

个性化推荐技术是指在线上推荐应用场景中向使用系统的用户推荐符合自 身兴趣偏好和意图的产品。近年来，随着互联网相关技术和产业的快速发展，推 荐系统被广泛应用于线上购物平台、新闻媒体推送、视频音乐网站等在线服务场 景中。推荐系统一方面可以改善用户体验、提高用户粘性，另一方面也可以增加 产品曝光量、提升内容分发效率，具有极高的商业价值。因此，推荐系统成为了 计算机、管理学及相关交叉学科中的一个长期热门研究问题，受到了众多研究者 的关注。然而，现有的推荐系统仍然面临着用户决策意图和特征画像构建困难、 单项决策和序列决策中的偏好建模复杂多变、推荐结果可信程度无法量化等挑 战。管理学中将用户的决策过程分为五个阶段：需求确认、信息收集、备选产品 评估、购买决策和决策评估。推荐系统为提升用户在这五个决策阶段中的用户体 验，需要面临三个主要的研究问题，分别是用户理解、决策理解和决策评估。为 此，本文利用机器学习、数据挖掘等技术，围绕用户决策过程中的五个阶段，在 三个主要研究问题上系统性地开展了面向个性化推荐的相关技术和应用研究工 作，提升用户体验。针对这五个阶段，分别提出了基于自编码器的用户意图画像 建模方法、基于主题模型的用户特征画像建模方法、基于集合偏序对比的决策偏 好建模方法、基于时间感知的序列决策偏好建模方法和基于贝叶斯估计的决策 置信度建模方法。本文的主要工作与贡献可以概括如下：

首先，构建全面的用户理解是分析用户决策行为和推荐的基础，为此本文提 出建模用户的意图画像和特征画像等方法。一方面，在需求确认阶段，本文提出 了一种基于自编码器的用户意图画像建模方法。传统推荐系统建模中用户意图 和用户偏好这两种因素被耦合在一起建模，为解决此问题，本文采取双重解耦 的设计。第一重解耦用于在建模过程中分离用户的意图因素和偏好因素，第二 重解耦则是对一个用户的不同决策意图分别构建独立的用户表征向量，实现细 粒度的用户意图和偏好刻画。最终在三个真实数据集上进行了大量实验，验证 了提出的双重解耦表征学习方法在意图识别和推荐任务上的有效性和可解释性。另一方面，在信息收集阶段，本文提出了一种基于主题模型的用户特征画像建模 方法。标签数据是推荐系统中最常见的一种特征类型，然而标签数据容易存在稀 疏性、错漏性和变化性等问题，如何利用标签数据来构建用户特征画像是一个关 键又困难的任务。本文利用一个非常有代表性的基于标签数据进行推荐的应用 场景，即个性化员工在线课程推荐场景，进行了相关研究。利用技能标签数据联 合建模员工的当前能力和职业发展偏好，并确保学到的用户能力画像和职业发 展画像都具有很高的可解释性。最终基于真实的企业内部课程平台应用场景及收集与平台上的真实数据进行了实验验证，验证了用户特征画像的有效性、可解 释性，以及推荐算法的准确性、鲁棒性。

其次，构建深度的决策理解是分析用户决策行为和推荐的核心，为此本文提 出对单次决策和多次决策的精准建模方法。一方面，在备选产品评估阶段，本文 提出一种基于集合偏序对比的决策偏好建模方法。传统的用户决策偏好建模可 以分为逐点建模方法、成对对比建模方法和列表排序建模方法。然而在实践中， 成对对比建模方法的独立性假设往往难以满足。此外，逐点建模方法和列表排序 建模方法都不能有效地处理未观测样本数据。本文提出的集合偏序对比建模方 法可以更好地拟合推荐系统中的数据特点，为决策偏好建模问题开拓了新思路。最终在三个真实世界数据集上的大量实验清楚地验证了集合偏序对比建模方法 的准确性和有效性。另一方面，在购买决策阶段，本文提出一种基于时间感知的 序列决策偏好建模方法。在时间序列等序列决策场景中，用户的决策行为之间存 在连续性和依赖性，必须考虑到多决策之间的关联影响。本文基于一个典型的时 间序列多任务决策问题，即员工跳槽问题展开了研究。为此，本文采用深度时间 序列建模与多任务协同过滤相结合的方式，借助所提出的时间感知模块，可以在 预测阶段输入不同的跳槽时间来生成不同的预测结果，实现推荐结果随时间变 化而变化。最终基于从真实职业社交网站上收集的简历数据集，进行了大量实验 验证了方法的有效性。

最后，在决策评估阶段，需要量化评估决策的好坏，例如可信程度等指标。为此，本文提出一种基于贝叶斯估计的决策置信度建模方法。传统推荐只提供预 测的评分值，而不能量化这次预测的可信程度，本文提出的基于贝叶斯估计的用 户决策置信度建模框架可以在保障评分预测的准确性的同时测量预测的置信度。具体而言，在矩阵分解模型中引入不同用户和产品的方差参数，通过预测置信区 间来度量评分预测的置信度。由此，用户和产品对评分的置信差异影响都被考虑 在建模内，这种联合评分预测和置信度预测的建模过程同时也能提高评分预测 任务的准确性。最终在真实数据集上进行了大量实验验证，在评分预测和置信度 量化两个任务上验证了方法的有效性。