In this work we introduce repro_eval - a tool for reactive reproducibility studies of system-oriented information retrieval (IR) experiments. The corresponding Python package provides IR researchers with measures for different levels of reproduction when evaluating their systems' outputs. By offering an easily extensible interface, we hope to stimulate common practices when conducting a reproducibility study of system-oriented IR experiments.
翻译：在这项工作中,我们引入了Repro_eval——一个系统导向信息检索实验的被动再复制研究工具。相应的 Python 软件包为IR研究人员在评估其系统输出时提供了不同层次的复制措施。通过提供一个易于扩展的界面,我们希望在进行系统导向信息检索实验的再复制研究时能够激发共同做法。
相关内容
信息检索杂志（IR）为信息检索的广泛领域中的理论、算法分析和实验的发布提供了一个国际论坛。感兴趣的主题包括对应用程序（例如Web，社交和流媒体，推荐系统和文本档案）的搜索、索引、分析和评估。这包括对搜索中人为因素的研究、桥接人工智能和信息检索以及特定领域的搜索应用程序。
官网地址：https://dblp.uni-trier.de/db/journals/ir/
专知会员服务
35+阅读 · 2020年1月6日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月17日
Arxiv
0+阅读 · 2022年4月15日
相关主题
相关VIP内容
专知会员服务
35+阅读 · 2020年1月6日
相关资讯
相关论文
Arxiv
0+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月17日
Arxiv
0+阅读 · 2022年4月15日
微信扫码咨询专知VIP会员