Learning to rank is a key component of many e-commerce search engines. In learning to rank, one is interested in optimising the global ordering of a list of items according to their utility for users.Popular approaches learn a scoring function that scores items individually (i.e. without the context of other items in the list) by optimising a pointwise, pairwise or listwise loss. The list is then sorted in the descending order of the scores. Possible interactions between items present in the same list are taken into account in the training phase at the loss level. However, during inference, items are scored individually, and possible interactions between them are not considered. In this paper, we propose a context-aware neural network model that learns item scores by applying a self-attention mechanism. The relevance of a given item is thus determined in the context of all other items present in the list, both in training and in inference. We empirically demonstrate significant performance gains of self-attention based neural architecture over Multi-LayerPerceptron baselines, in particular on a dataset coming from search logs of a large scale e-commerce marketplace, Allegro.pl. This effect is consistent across popular pointwise, pairwise and listwise losses.Finally, we report new state-of-the-art results on MSLR-WEB30K, the learning to rank benchmark.
翻译:学习排名是许多电子商务搜索引擎的关键组成部分。 学习排名时, 人们感兴趣的是优化按用户的实用性对项目列表进行全球排序。 支持性方法通过优化点数、 双向或列表式损失来学习单个项目分数的评分功能( 即没有列表中其他项目的背景) 。 该列表随后按分数的递减顺序排序 。 在损失水平的培训阶段, 将同一列表中的项目之间可能的互动考虑在内 。 但是, 在推断期间, 单个项目被评分, 并且不考虑它们之间可能的互动 。 在本文件中, 我们提出一个有上下文的神经网络模式, 通过应用自省机制来学习项目分数。 因此, 特定项目的相关性在列表中所有其他项目的背景中, 无论是在培训还是推断中, 都按分排序顺序排列 。 我们从经验上表明, 在多LayerPercepron 基线的培训阶段, 特别是从搜索30 级、 级级级级级、 级标定、 级标尺、 级标尺、 级、 级、 级标、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、 级、