【AAAI 2020论文】一种面向推荐的自适应margin对称度量学习方法

导读

近期，度量学习(Metric Learning)方法在推荐系统(Recommender Systems)领域受到了极大关注。 现存的主要方法使用距离度量函数 (Distance Metric Function)，如： 基于三元组 (<user, positive-item, negative-item>)的距离度量，要求以user 为中心，以正样本对(<user, positive-item>)距离为半径作圆，将negative-item进一步推离user，使得负样本对(<user, negative-item>距离与正样本对距离的差值大于等于一个固定的margin。 然而，这种以 user为中心的模式，只考虑user-item间的关系，忽略了item间的关系。 这有可能导致 positive-item和negative-item之间的距离过近，造成区分困难。 此外，由于 user和item偏置(bias)的影响，固定的margin无法有效应用于真实的复杂场景。 为突破以上限制，更加全面地建模 item间的关系和user/item偏置，中国科学院信息工程研究所知识计算组提出一种自适应margin的对称度量学习方法SML，该方法在以user为中心的模式基础上，融合一个以item为中心的模式，充分考虑user，positive-item 和 negative-item 三者间的几何对称关系。 同时，自适应地调整 margin，以有效缓解个性化偏置。 在公开数据集上， SML方法取得了state-of-the-art效果。 该文章已被人工智能领域顶级会议 AAAI 2020接收为大会oral，题目为： 《 Symmetric Metric Learning with Adaptive Margin for Recommendation》。

介绍

推荐系统的任务目标是帮助用户(user)锁定感兴趣的内容(item)，从而为用户的信息获取和网上购物等提供便利。 在基于隐式反馈的内容推荐算法中，度量学习 (Metric Learning)已成为主流的研究方法，其中最有代表性的工作是CML^[1]。 CML使用基于三元组(<user, positive-item,negative-item>)的距离度量，以user中心，以正样本对(<user,positive-item>)距离作圆，并进一步推离负样本negative-item, 使得负样本对(<user, negative-item>)与正样本对之间的距离差值始终大于等于一个固定的margin。 然而，此类方法仅以 user为中心，只考虑user和-item间的关系，而忽略了positive-item和negative-item间的关系。 如果 positive-item和negative-item间距离过近，就会造成样本难以区分，严重影响推荐的效果。 此外，由于 user和item偏置(bias)的影响，原有固定的margin无法有效应用于真实的复杂场景。

为突破以上限制，更加全面地建模item间的关系和user/item偏置，论文提出一种自适应margin的对称度量学习方法SML，该方法在以user为中心的模式基础上，融合一个以item为中心的模式，充分考虑user，positive-item 和 negative-item 三者间的几何对称关系。 同时，自适应地调整 margin，以有效缓解个性化偏置。 在 Amazon Instant Video、Yelp和IMDB等3个公开数据集上，SML方法取得了state-of-the-art效果。 更重要的是， SML对其它领域（如： 计算机视觉，知识图谱等）所涉及的度量学习方法，具有一定启发。

问题定义

本文中所涉及的符号如下所示：

推荐的任务：根据用户对物品的已知历史交互信息，来推断 /预测其未交互的物品是否为其所感兴趣的。 可用公式，进一步形式化，如下所示。

方法

1. CML的局限性分析

CML是推荐领域一种经典的度量学习方法。 采用基于三元组 (<user,positive-item, negative-item>)的距离度量，损失函数和距离计算如下所示：

在度量学习的优化过程中，user、positive-item、negative-item三者，会同时沿着以下公式中的负偏导方向，进行“位置”更新。

从几何角度分析，这是一种以user为中心的度量。 随着“位置”逐渐更新，在度量空间上，会存在 positive-item和negative-item之间距离过近的情况。 如上图所示， positive-item和negative-item之间的距离甚至会小于user和positive-item之间的距离，严重违背距离度量的基本准则。 此时，不相似样本对 (pair)的距离竟然小于相似样本对(pair)的距离。

一种启发式的方法，可单纯地增大margin，使positive-item 和negative-item之间的距离变大。 然而，在推荐任务中，同样一个 item，对于不同用户而言，却可能存在着不同的正负标签，这与其它领域中的度量学习有一定的区别。 单纯地增大 margin，将导致两方面问题： 1)以user为中心的内环半径会变得很小（即： 解空间小，造成 positive-item与user不可区分）； 2)对于另一个user而言，前一个三元组中的positive-item和negative-item，可能都是正样本。 此时，当前 user的内环半径要足够大，才能充分实现数据拟合。 因此，单纯地增大 margin并不可行。

2. 对称度量学习(SML)结构

为突破CML方法的局限性，本文提出一种几何对称结构，如下图所示。

在以user(标记为u)为中心的模式基础上，同时将item之间的关系考虑进去。 以正样本 positive-item (标记为v⁺)为中心，仍然以正样本对(v⁺,u)距离为半径作圆，并进一步将负样本negative-item(v^-)推离开中心v⁺，并使负样本对距离与正样本对距离的差值大于等于margin。 在学习优化过程中，同时满足以下两方面的约束条件：

3. 自适应margin的设计

由于user和item偏置(bias)的影响，原有固定的margin无法有效应用于真实的复杂场景。 一般地，对于兴趣较为广泛的用户，其以 user为中心的内环半径应较大（即： 解空间大），所对应的 margin应较小（即： 正负样本边界不明显）；而对于 few-shot的用户，其以user为中心的内环半径应较小（即： 解空间小），所对应的 margin应较大（即： 正负样本边界分明）。因此，尝试去动态调整 user和item的margin是必要的。 下面的损失函数中， 分别代表user-centric和item-centric中的margin，将这种自适应的margin信息，融入到度量学习过程的优化中。

4. 最终的模型损失函数如下所示：

通过联合以user为中心、以item为中心的模式，并提供自适应margin机制，共同参与度量学习模型的优化过程，最终得到user和item的表示。

实验

1. 对比方法

本实验中的对比方法如下图所示，有BPR^[2]、MLP^[3]、NCF^[3]、FML^[4]、TransCF^[5]、LRML^[6]、CML^[1]。 其中，分别展示了距离计算和损失函数。      

2. 实验效果

在Amazon Instant Video、Yelp和IMDB等3个公开数据集上，进行实验。

通过观察实验结果，发现SML取得了较高的性能。 将所学到的 margin进行可视化，发现在Amazon Instant Video数据集上，user margin的分布很离散(0.7-1.0)，而item margin的分布却很集中。 在 IMDB数据集上，user margin的分布也很离散（0.1-0.5）。 进一步说明自适应 margin的步骤是必要的，且用户的偏置比物品偏置更严重。

总结

1）本文从几何对称的角度，提出了一种综合考虑以user为中心和以item为中心的对称距离度量方式；

2）针对user和item偏置(bias)的影响，设计了一种自适应margin的求解策略，有效缓解了个性化偏置问题；

3）在一些公开数据集上，SML方法取得了state-of-the-art效果；

4）对其它领域（如： 计算机视觉，知识图谱等）所涉及的度量学习方法，具有一定启发。

参考文献

[1]Hsieh C K, Yang L, Cui Y, et al.Collaborative metric learning[C]//Proceedings of the 26th International Conferenceon World Wide Web. International World Wide Web Conferences Steering Committee,2017: 193-201.

[2]Rendle S, Freudenthaler C, Gantner Z,et al. BPR: Bayesian personalized ranking from implicitfeedback[C]//Proceedings of the 25-th Conference on Uncertainty in Artificial Intelligence.AUAI Press, 2009: 452-461.

[3]He X, Liao L, Zhang H, et al. Neuralcollaborative filtering[C]//Proceedings of the 26th International Conference onWorld Wide Web. International World Wide Web Conferences Steering Committee,2017: 173-182.

[4]Zhang S, Yao L, Huang C, et al.Position and Distance: Recommendation beyond Matrix Factorization[J]. CoRR,2018.

[5]Park C, Kim D, Xie X, et al.Collaborative Translational Metric Learning[C]//Proceedings of theInternational Conference on Data Mining (ICDM). 2018: 367-376.

[6] Tay Y, Anh Tuan L, Hui S C. Latentrelational metric learning via memory-based attention for collaborativeranking[C]// Proceedings of the 27th International Conference on World Wide Web.International World Wide Web Conferences Steering Committee. 2018: 729-739.

论文链接： kcsg.net/papers/2_li_AAAI2020.pdf

代码链接： github.com/MingmingLie/SML

专 · 知

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程视频资料和与专家交流咨询！

点击“阅读原文”，了解使用专知，查看5000+AI主题知识资料