Learning to rank is a key component of many e-commerce search engines. In learning to rank, one is interested in optimising the global ordering of a list of items according to their utility for users.Popular approaches learn a scoring function that scores items individually (i.e. without the context of other items in the list) by optimising a pointwise, pairwise or listwise loss. The list is then sorted in the descending order of the scores. Possible interactions between items present in the same list are taken into account in the training phase at the loss level. However, during inference, items are scored individually, and possible interactions between them are not considered. In this paper, we propose a context-aware neural network model that learns item scores by applying a self-attention mechanism. The relevance of a given item is thus determined in the context of all other items present in the list, both in training and in inference. We empirically demonstrate significant performance gains of self-attention based neural architecture over Multi-LayerPerceptron baselines, in particular on a dataset coming from search logs of a large scale e-commerce marketplace, Allegro.pl. This effect is consistent across popular pointwise, pairwise and listwise losses.Finally, we report new state-of-the-art results on MSLR-WEB30K, the learning to rank benchmark.


翻译:学习排名是许多电子商务搜索引擎的关键组成部分。 学习排名时, 人们感兴趣的是优化按用户的实用性对项目列表进行全球排序。 支持性方法通过优化点数、 双向或列表式损失来学习单个项目分数的评分功能( 即没有列表中其他项目的背景) 。 该列表随后按分数的递减顺序排序 。 在损失水平的培训阶段, 将同一列表中的项目之间可能的互动考虑在内 。 但是, 在推断期间, 单个项目被评分, 并且不考虑它们之间可能的互动 。 在本文件中, 我们提出一个有上下文的神经网络模式, 通过应用自省机制来学习项目分数。 因此, 特定项目的相关性在列表中所有其他项目的背景中, 无论是在培训还是推断中, 都按分排序顺序排列 。 我们从经验上表明, 在多LayerPercepron 基线的培训阶段, 特别是从搜索30 级、 级级级级级、 级标定、 级标尺、 级标尺、 级、 级、 级标、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、

1
下载
关闭预览

相关内容

最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
89+阅读 · 2020年12月2日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
160+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
181+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
2+阅读 · 2021年7月15日
Arxiv
2+阅读 · 2021年7月14日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
Next Item Recommendation with Self-Attention
Arxiv
5+阅读 · 2018年8月25日
Arxiv
5+阅读 · 2018年3月28日
VIP会员
相关VIP内容
相关资讯
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员