在文本信息检索停滞多年之后,经过训练的transformer网络在性能上有了很大的提升,从而得到了非常好的搜索结果。然而,到目前为止,这些方法需要大量的训练数据,而这些数据对于许多用例来说很少可用。在这次演讲中,我将从不同的神经搜索方法的概述开始。然后,我将介绍BEIR,这是一个在域外设置中测试神经搜索方法的基准测试。正如基准测试所揭示的那样,许多体系结构对领域迁移很敏感,这限制了它们对许多实际单词应用的用处。为了克服这一缺点,我们创建了生成式伪标记(GPL),这是一种将知识从缓慢但稳健的架构转移到快速但领域敏感的方法,从而大大提高了搜索质量。

成为VIP会员查看完整内容
9

相关内容

专知会员服务
37+阅读 · 2021年9月15日
深度学习搜索,Exploring Deep Learning for Search
专知会员服务
55+阅读 · 2020年5月9日
【斯坦福大学】Gradient Surgery for Multi-Task Learning
专知会员服务
45+阅读 · 2020年1月23日
【新书】深度学习搜索,Deep Learning for Search,附327页pdf
专知会员服务
201+阅读 · 2020年1月13日
【AAAI2022】跨域少样本图分类
专知
1+阅读 · 2022年1月22日
浅谈NLP中的领域自适应(Domain Adaptation) 技术
PaperWeekly
1+阅读 · 2021年10月27日
元学习(Meta-Learning) 综述及五篇顶会论文推荐
图卷积神经网络(GCN)文本分类详述
专知
278+阅读 · 2019年4月5日
用深度学习做文本摘要
专知
24+阅读 · 2019年3月30日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
13+阅读 · 2021年3月29日
VIP会员
相关VIP内容
专知会员服务
37+阅读 · 2021年9月15日
深度学习搜索,Exploring Deep Learning for Search
专知会员服务
55+阅读 · 2020年5月9日
【斯坦福大学】Gradient Surgery for Multi-Task Learning
专知会员服务
45+阅读 · 2020年1月23日
【新书】深度学习搜索,Deep Learning for Search,附327页pdf
专知会员服务
201+阅读 · 2020年1月13日
相关资讯
【AAAI2022】跨域少样本图分类
专知
1+阅读 · 2022年1月22日
浅谈NLP中的领域自适应(Domain Adaptation) 技术
PaperWeekly
1+阅读 · 2021年10月27日
元学习(Meta-Learning) 综述及五篇顶会论文推荐
图卷积神经网络(GCN)文本分类详述
专知
278+阅读 · 2019年4月5日
用深度学习做文本摘要
专知
24+阅读 · 2019年3月30日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员