Khandelwal et al. (2020) use a k-nearest-neighbor (kNN) component to improve language model performance. We show that this idea is beneficial for open-domain question answering (QA). To improve the recall of facts encountered during training, we combine BERT (Devlin et al., 2019) with a traditional information retrieval step (IR) and a kNN search over a large datastore of an embedded text collection. Our contributions are as follows: i) BERT-kNN outperforms BERT on cloze-style QA by large margins without any further training. ii) We show that BERT often identifies the correct response category (e.g., US city), but only kNN recovers the factually correct answer (e.g., "Miami"). iii) Compared to BERT, BERT-kNN excels for rare facts. iv) BERT-kNN can easily handle facts not covered by BERT's training set, e.g., recent events.


翻译:Khandelwal等人(2020年)使用 k-earest-neighbor (kNN) 组件来改进语言模型的性能。我们表明,这一想法有益于开放式问题回答(QA) 。为了更好地回顾培训期间遇到的事实,我们将BERT(Devlin等人,2019年)与传统的信息检索步骤(IR)和对嵌入文本收藏的大型数据库的KNN搜索结合起来。我们的贡献如下:i) BERT-kNN在不经过任何进一步培训的情况下,大幅度地在凝木式QA上完成BERT。 (ii) 我们显示,BERT经常确定正确的回答类别(例如美国城市),但只有 kNN才会恢复真实正确的回答(例如“Mami”)。iii 与BERT相比,BERT-kNN在稀有事实方面是优秀的。 iv) BERT- kNNN可以很容易地处理BERT的培训没有涵盖的事实,例如最近的事件。

1
下载
关闭预览

相关内容

“知识神经元网络”KNN(Knowledge neural network)是一种以“神经元网络”模型 为基础的知识组织方法。 在“知识神经元网络”KNN 中,所谓的“知识”,是描述一个“知识”的文本,如一个网页、Word、PDF 文档等。
BERT技术体系综述论文:40项分析探究BERT如何work
专知会员服务
139+阅读 · 2020年3月1日
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
已删除
将门创投
7+阅读 · 2018年4月18日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Arxiv
6+阅读 · 2019年9月4日
Arxiv
11+阅读 · 2019年6月19日
Arxiv
6+阅读 · 2019年3月19日
Arxiv
4+阅读 · 2019年2月18日
Arxiv
6+阅读 · 2018年6月18日
Arxiv
3+阅读 · 2018年2月24日
VIP会员
相关VIP内容
BERT技术体系综述论文:40项分析探究BERT如何work
专知会员服务
139+阅读 · 2020年3月1日
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
Top
微信扫码咨询专知VIP会员