【KDD2021】一种使用真负样本的在线延迟反馈建模

Real Negatives Matter: Continuous Training with Real Negatives for Delayed Feedback Modeling 一种使用真负样本的在线延迟反馈建模

摘要：转化率 (CVR) 预测的难点之一是转化可能会延迟并在点击后很长时间内发生。延迟反馈带来了挑战：新数据有利于在线学习，但在它们在注入到训练流程时可能没有完整的标签信息。为了平衡模型新鲜度和标签确定性，以前的方法设置了一个较短的等待窗口，甚至不等待转化信号。如果转换发生在等待窗口之外，则此样本将被复制并以正标签注入到训练流程中。但是，这些方法存在一些问题。首先，他们假设观察到的特征分布与实际分布保持一致。但是由于获取了重复样本，这个假设不成立。其次，转化动作的确定性仅来自正例。但由于商业系统中的转化数据很少，因此正例很少。这些问题在延迟反馈的建模过程中会导致偏差。

在本文中，我们提出了 Defer建模方法来解决这些问题。所提出的方法将真实的负样本注入到训练管道中。注入真实负样本确保观察到的特征分布与实际分布等效，从而减少偏差。真实负样本的注入也给转化带来了更多确定性信息。为了纠正分布偏移，Defer使用重要性采样来权衡损失函数。工业数据集的实验结果验证了Defer 的优越性。Defer 已部署在阿里巴巴的展示广告系统中，在多个场景下获得超过 6.0% 的 CVR 提升。