细节决定成败: 推荐系统实验反思与讨论

2021 年 12 月 17 日 机器学习与推荐算法
嘿,记得给“机器学习与推荐算法”添加星标

近些年来,随着互联网的迅速发展,用户在各种在线平台上接收到海量的信息,信息爆炸成为一个关键性问题。在此背景下,推荐系统逐步渗透到人们工作生活的各个场景,已成为不可或缺的一环。它不仅可以帮助用户快速获得想要的信息和服务,还可以提高资源利用效率,从而给企业带来更多效益。因此,个性化推荐算法不仅获得了工业界广泛的关注,也是科研领域的研究热点之一。

在个性化推荐的研究中,受限于平台与效率等因素,研究者大多无法将算法部署到在线系统上进行评价,因此离线评价成为推荐领域研究的主要方式。然而个性化推荐涉及到的场景复杂,可获得的数据信息多种多样,用户行为多为隐式反馈且存在许多噪声,这使得推荐系统离线评价的实验设定复杂多变,存在大量易被忽视却十分重要的细节。比如在训练采样负例时,既可以仅从用户没有交互过的商品中采样,也可以将验证测试集的商品视作未知交互加入采样池。同样,从训练到测试在很多其他环节也涉及这样的实现细节(如数据集处理、已知负样本的使用、Top-N排序候选集范围等)。这些实验细节通常不会在学术论文中被显式提及,却潜在影响了模型效果的对比,还决定着实验的科学性,甚至会导致相反或错误的分析结论。
本文从数据集处理、模型训练、验证与测试、效果评价等多个角度,系统地讨论与反思了推荐系统实验中的细节设定。对于每个环节,我们枚举了若干常见设定,并在真实数据集上验证了其中某些设定的实际影响。实验结果表明一些细节确实会导致关于模型优劣的不同结论。最终我们形成了关于推荐系统实验细节的指导性总结,包括可选、建议、必须的三类设定,希望帮助推荐算法研究者规避实现细节上的陷阱,更科学合理地设计实验。


http://jcs.iie.ac.cn/xxaqxb/ch/reader/create_pdf.aspx?file_no=20210504&flag=1&year_id=2021&quarter_id=5

欢迎干货投稿 \ 论文宣传 \ 合作交流

推荐阅读

TFRS | 谷歌开源新一代推荐系统库

RecNN | 基于强化学习的新闻推荐系统框架
Graph4Rec: 基于图神经网络的推荐系统通用工具包

由于公众号试行乱序推送,您可能不再准时收到机器学习与推荐算法的推送。为了第一时间收到本号的干货内容, 请将本号设为星标,以及常点文末右下角的“在看”。

喜欢的话点个在看吧👇
登录查看更多
0

相关内容

推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
对话推荐算法研究综述
专知会员服务
48+阅读 · 2022年2月18日
细节决定成败:推荐系统实验反思与讨论
专知会员服务
18+阅读 · 2021年12月10日
知识驱动的推荐系统:现状与展望
专知会员服务
67+阅读 · 2021年11月22日
协同过滤推荐系统综述
专知会员服务
45+阅读 · 2021年11月4日
面向知识图谱的知识推理综述
专知会员服务
149+阅读 · 2021年11月1日
专知会员服务
41+阅读 · 2021年10月4日
专知会员服务
40+阅读 · 2021年4月3日
【WSDM2021-Tutorial】偏见感知推荐系统的进展,134页ppt
专知会员服务
49+阅读 · 2021年3月9日
基于事件社会网络推荐系统综述
专知会员服务
68+阅读 · 2021年1月13日
应用知识图谱的推荐方法与系统
专知会员服务
115+阅读 · 2020年11月23日
因果推荐系统近期进展
图与推荐
4+阅读 · 2021年12月9日
推荐系统领域13个开源工具总结
机器学习与推荐算法
1+阅读 · 2021年12月7日
对话推荐系统的逻辑与演化总结
机器学习与推荐算法
0+阅读 · 2021年12月3日
对话推荐算法研究综述
机器学习与推荐算法
0+阅读 · 2021年11月26日
KDD21 | 如何纠正推荐系统中的流行度偏差
图与推荐
1+阅读 · 2021年11月25日
知识驱动的推荐系统:现状与展望
专知
1+阅读 · 2021年11月22日
中文版协同过滤推荐系统综述
机器学习与推荐算法
0+阅读 · 2021年11月5日
基于图嵌入技术的推荐系统长文综述
机器学习与推荐算法
0+阅读 · 2021年9月29日
SIGIR2020推荐系统论文聚焦
机器学习与推荐算法
15+阅读 · 2020年6月9日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月19日
Cold-start Sequential Recommendation via Meta Learner
Arxiv
15+阅读 · 2020年12月10日
Arxiv
101+阅读 · 2020年3月4日
Arxiv
23+阅读 · 2018年8月3日
Arxiv
14+阅读 · 2018年4月18日
VIP会员
相关VIP内容
对话推荐算法研究综述
专知会员服务
48+阅读 · 2022年2月18日
细节决定成败:推荐系统实验反思与讨论
专知会员服务
18+阅读 · 2021年12月10日
知识驱动的推荐系统:现状与展望
专知会员服务
67+阅读 · 2021年11月22日
协同过滤推荐系统综述
专知会员服务
45+阅读 · 2021年11月4日
面向知识图谱的知识推理综述
专知会员服务
149+阅读 · 2021年11月1日
专知会员服务
41+阅读 · 2021年10月4日
专知会员服务
40+阅读 · 2021年4月3日
【WSDM2021-Tutorial】偏见感知推荐系统的进展,134页ppt
专知会员服务
49+阅读 · 2021年3月9日
基于事件社会网络推荐系统综述
专知会员服务
68+阅读 · 2021年1月13日
应用知识图谱的推荐方法与系统
专知会员服务
115+阅读 · 2020年11月23日
相关资讯
因果推荐系统近期进展
图与推荐
4+阅读 · 2021年12月9日
推荐系统领域13个开源工具总结
机器学习与推荐算法
1+阅读 · 2021年12月7日
对话推荐系统的逻辑与演化总结
机器学习与推荐算法
0+阅读 · 2021年12月3日
对话推荐算法研究综述
机器学习与推荐算法
0+阅读 · 2021年11月26日
KDD21 | 如何纠正推荐系统中的流行度偏差
图与推荐
1+阅读 · 2021年11月25日
知识驱动的推荐系统:现状与展望
专知
1+阅读 · 2021年11月22日
中文版协同过滤推荐系统综述
机器学习与推荐算法
0+阅读 · 2021年11月5日
基于图嵌入技术的推荐系统长文综述
机器学习与推荐算法
0+阅读 · 2021年9月29日
SIGIR2020推荐系统论文聚焦
机器学习与推荐算法
15+阅读 · 2020年6月9日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Top
微信扫码咨询专知VIP会员