We propose DrBoost, a dense retrieval ensemble inspired by boosting. DrBoost is trained in stages: each component model is learned sequentially and specialized by focusing only on retrieval mistakes made by the current ensemble. The final representation is the concatenation of the output vectors of all the component models, making it a drop-in replacement for standard dense retrievers at test time. DrBoost enjoys several advantages compared to standard dense retrieval models. It produces representations which are 4x more compact, while delivering comparable retrieval results. It also performs surprisingly well under approximate search with coarse quantization, reducing latency and bandwidth needs by another 4x. In practice, this can make the difference between serving indices from disk versus from memory, paving the way for much cheaper deployments.


翻译:我们建议DrBoost, 这是一种由提升启发的密集检索组合。DrBoost是分阶段培训的:每个部件模型都是按顺序学习的,专门化的,只注重当前组合体的检索错误。最后的表述是所有部件模型的输出矢量的融合,使它在测试时成为标准密度检索器的低位替代物。DrBoost与标准的密度检索模型相比,享有若干优势。它产生4x的显示力更为紧凑,同时提供可比较的检索结果。它也令人惊讶地表现在接近接近的搜索量之下,粗微的量化,将耐用量和带宽需求再减少4x。在实践中,这可以区分磁盘与记忆之间的服务指数,为更便宜的部署铺路。

0
下载
关闭预览

相关内容

专知会员服务
6+阅读 · 2021年8月7日
专知会员服务
55+阅读 · 2021年5月17日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
78+阅读 · 2020年7月26日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
已删除
将门创投
3+阅读 · 2019年1月8日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Arxiv
16+阅读 · 2021年11月27日
Arxiv
5+阅读 · 2018年5月1日
VIP会员
相关VIP内容
专知会员服务
6+阅读 · 2021年8月7日
专知会员服务
55+阅读 · 2021年5月17日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
78+阅读 · 2020年7月26日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
相关资讯
已删除
将门创投
3+阅读 · 2019年1月8日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Top
微信扫码咨询专知VIP会员