Negative sampling has been heavily used to train recommender models on large-scale data, wherein sampling hard examples usually not only accelerates the convergence but also improves the model accuracy. Nevertheless, the reasons for the effectiveness of Hard Negative Sampling (HNS) have not been revealed yet. In this work, we fill the research gap by conducting thorough theoretical analyses on HNS. Firstly, we prove that employing HNS on the Bayesian Personalized Ranking (BPR) learner is equivalent to optimizing One-way Partial AUC (OPAUC). Concretely, the BPR equipped with Dynamic Negative Sampling (DNS) is an exact estimator, while with softmax-based sampling is a soft estimator. Secondly, we prove that OPAUC has a stronger connection with Top-K evaluation metrics than AUC and verify it with simulation experiments. These analyses establish the theoretical foundation of HNS in optimizing Top-K recommendation performance for the first time. On these bases, we offer two insightful guidelines for effective usage of HNS: 1) the sampling hardness should be controllable, e.g., via pre-defined hyper-parameters, to adapt to different Top-K metrics and datasets; 2) the smaller the $K$ we emphasize in Top-K evaluation metrics, the harder the negative samples we should draw. Extensive experiments on three real-world benchmarks verify the two guidelines.
翻译:大量使用负抽样来培训大型数据的建议模型,其中抽样的硬实例通常不仅能加速趋同,而且还能提高模型的准确性。然而,硬负抽样(HNS)有效性的原因尚未披露。在这项工作中,我们通过对HNS进行彻底的理论分析来填补研究差距。首先,我们证明在巴伊西亚个性化排名(BPR)中采用HNS等同于优化单向部分AUC(OPAUC)。具体地说,装有动态负抽样(DNS)的BPR是一个精确的估测器,而软式模量抽样(DNS)则是一个软式估测器。第二,我们证明OPAUSC与高K评价指标的联系比AUC更紧密,并通过模拟实验加以核实。这些分析建立了HNS在第一次优化Top-K建议性能方面的理论基础。我们为有效使用HNS提供了两个深刻的精辟指南:1)取样的硬度应该是可控制的,例如,通过基于软式的取样进行软式的标尺取样,例如,用更精确的TAUK的标定的标尺比AUT-I的标定的标尺,并用更硬的标尺,我们要在3的基底的标定的标定的标定的基的基中,我们的基底的标定的基底的标定的基底的基底的基底的基底的基底的基号,我们的基底的基底的基底的基底的基底的基底的基底的基底的基底的基底的基底的基底的基底的基底的基底的基底基底的基的基的基底的基底的基底的基底的基的基的基底的基底的基的基的基底的基底的基底的基底的基的基的基的基的基底的基底的基底的基底的基底的基底的基底的基底的基底的基底的基底的基底的基底的基底的基的基的基的基的基的基底的基底的基底的基底的基底的基底基底基底基的基的基的基的基的基底的基的基底的基