Most state-of-the-art open-domain question answering systems use a neural retrieval model to encode passages into continuous vectors and extract them from a knowledge source. However, such retrieval models often require large memory to run because of the massive size of their passage index. In this paper, we introduce Binary Passage Retriever (BPR), a memory-efficient neural retrieval model that integrates a learning-to-hash technique into the state-of-the-art Dense Passage Retriever (DPR) to represent the passage index using compact binary codes rather than continuous vectors. BPR is trained with a multi-task objective over two tasks: efficient candidate generation based on binary codes and accurate reranking based on continuous vectors. Compared with DPR, BPR substantially reduces the memory cost from 65GB to 2GB without a loss of accuracy on two standard open-domain question answering benchmarks: Natural Questions and TriviaQA. Our code and trained models are available at https://github.com/studio-ousia/bpr.


翻译:大多数最先进的开放域解答系统使用神经检索模型,将通道编码成连续矢量,并从知识源中提取。然而,这种检索模型往往需要大量的内存才能运行,因为其通道索引的大小很大。在本文中,我们引入了二进制通道检索(BPR)(BPR),这是一种内存效率高的神经检索模型,将学习-光学技术纳入最先进的Dense Passage Retriever(DPR),以使用紧凑的二进制码而不是连续矢量来代表通过索引。BPR在两项任务上受过多重任务目标的培训:基于二进制码的有效候选人生成和基于连续矢量的准确重新排序。与DPR相比,BPR将记忆成本从65GB大幅降低到2GB,同时不丧失两个标准的开放域解答基准的准确性:自然问题和TriviaQA。我们的代码和经过培训的模型可在https://github.com/studio-usia/bpr。

0
下载
关闭预览

相关内容

让 iOS 8 和 OS X Yosemite 无缝切换的一个新特性。 > Apple products have always been designed to work together beautifully. But now they may really surprise you. With iOS 8 and OS X Yosemite, you’ll be able to do more wonderful things than ever before.

Source: Apple - iOS 8
【Manning新书】现代Java实战,592页pdf
专知会员服务
98+阅读 · 2020年5月22日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
25+阅读 · 2019年10月18日
【资源】问答阅读理解资源列表
专知
3+阅读 · 2020年7月25日
BERT实现QA中的问句语义相似度计算
AINLP
4+阅读 · 2020年6月29日
【文本匹配】Question Answering论文
深度学习自然语言处理
8+阅读 · 2020年4月20日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
ICLR2019最佳论文出炉
专知
11+阅读 · 2019年5月6日
论文浅尝 | Question Answering over Freebase
开放知识图谱
18+阅读 · 2018年1月9日
论文浅尝 | CFO: Conditional Focused Neural Question Answering
开放知识图谱
6+阅读 · 2017年12月15日
漫谈机器阅读理解之Facebook提出的DrQA系统
深度学习每日摘要
18+阅读 · 2017年11月19日
Arxiv
4+阅读 · 2019年2月18日
Incremental Reading for Question Answering
Arxiv
5+阅读 · 2019年1月15日
VIP会员
相关资讯
【资源】问答阅读理解资源列表
专知
3+阅读 · 2020年7月25日
BERT实现QA中的问句语义相似度计算
AINLP
4+阅读 · 2020年6月29日
【文本匹配】Question Answering论文
深度学习自然语言处理
8+阅读 · 2020年4月20日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
ICLR2019最佳论文出炉
专知
11+阅读 · 2019年5月6日
论文浅尝 | Question Answering over Freebase
开放知识图谱
18+阅读 · 2018年1月9日
论文浅尝 | CFO: Conditional Focused Neural Question Answering
开放知识图谱
6+阅读 · 2017年12月15日
漫谈机器阅读理解之Facebook提出的DrQA系统
深度学习每日摘要
18+阅读 · 2017年11月19日
Top
微信扫码咨询专知VIP会员