[SIGIR2021]可复现推荐系统评估的全面和严谨的框架

推荐系统已被证明是缓解过多选择问题和提供准确和量身定制的推荐的有效方法。然而，所提出的推荐算法、分割策略、评估协议、指标和任务的数量令人印象深刻，使得严格的实验评估尤其具有挑战性。由于对适当的评估基准、实验流程、超参数优化和评估程序的不断重建感到困惑和沮丧，我们开发了一个详尽的框架来满足这些需求。Elliot是一个全面的推荐框架，旨在通过处理一个简单的配置文件来运行和重现整个实验流程。该框架加载、过滤和分割数据需要考虑大量的策略(13种分割方法和8种过滤方法，从时间训练测试分割到嵌套的k -fold交叉验证)。Elliot为几种推荐算法(50)优化超参数(51个策略)，选择最佳模型，将它们与提供模型内统计数据的基线进行比较，计算从准确性到准确度、偏差和公平性的度量(36)，并进行统计分析(Wilcoxon和配对t检验)。其目的是为研究人员提供一种工具，以简化(并使其可重复)所有的实验评估阶段，从数据读取到结果收集。可以在GitHub (https://github.com/sisinflab/elliot)上找到Elliot。