在这次演讲中,我将分享一些我个人对神经IR领域进展的一些思考,以及一些我个人感到兴奋的正在进行的和未来的研究方向。本次演讲的内容将包括我自己在这一领域的研究,以及我作为MS MARCO基准测试和TREC深度学习跟踪的开发者/组织者的经验,以及我之前在必应(Bing)从事web规模搜索系统的应用研究员的经验。我这次演讲的目标是将话题从神经重排序模型转移到由深度学习驱动的更丰富、更大胆的搜索愿景。

神经信息检索导论

用于信息检索(IR)的神经排序模型使用浅神经网络或深度神经网络对搜索结果进行排序,以响应查询。传统的对模型进行排名的学习采用了监督机器学习(ML)技术——包括在手工制作的IR特征上的神经网络。相比之下,最近提出的神经模型从原始文本中学习语言表示,可以弥合查询词汇和文档词汇之间的差距。与传统的模型排序学习和非神经方法的IR不同,这些新的ML技术需要大量的数据,在部署之前需要大量的训练数据。本教程介绍了神经IR模型背后的基本概念和直觉,并将它们置于经典的非神经IR方法的背景下。我们首先介绍了检索的基本概念,以及文本向量表示的无监督学习的不同神经和非神经方法。然后,我们回顾了使用这些预先训练的神经向量表示的IR方法,而不学习IR任务端到端。接下来我们将介绍学习排名(LTR)框架,讨论用于排名的标准损失函数。接下来我们将概述深度神经网络(DNNs),包括标准架构和实现。最后,我们回顾了监督神经学习排序模型,包括最近的DNN体系结构训练端到端排序任务。最后,我们讨论了神经IR未来可能的发展方向。

成为VIP会员查看完整内容
12

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【Manning2022新书】深度学习自然语言处理,296页pdf
【干货书】神经信息检索,50页pdf
专知会员服务
21+阅读 · 7月29日
【计算所&清华等新书】预训练方法信息检索,109页pdf
专知会员服务
51+阅读 · 2021年11月30日
WSDM 2020教程《深度贝叶斯数据挖掘》,附257页PPT下载
专知会员服务
138+阅读 · 2020年2月7日
【新书】深度学习搜索,Deep Learning for Search,附327页pdf
专知会员服务
179+阅读 · 2020年1月13日
【LinkedIn报告】深度自然语言处理的搜索系统,211页pdf
专知会员服务
99+阅读 · 2019年6月21日
【干货书】神经信息检索,50页pdf
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
Arxiv
15+阅读 · 2018年4月3日
Arxiv
11+阅读 · 2018年1月20日
VIP会员
相关VIP内容
【Manning2022新书】深度学习自然语言处理,296页pdf
【干货书】神经信息检索,50页pdf
专知会员服务
21+阅读 · 7月29日
【计算所&清华等新书】预训练方法信息检索,109页pdf
专知会员服务
51+阅读 · 2021年11月30日
WSDM 2020教程《深度贝叶斯数据挖掘》,附257页PPT下载
专知会员服务
138+阅读 · 2020年2月7日
【新书】深度学习搜索,Deep Learning for Search,附327页pdf
专知会员服务
179+阅读 · 2020年1月13日
【LinkedIn报告】深度自然语言处理的搜索系统,211页pdf
专知会员服务
99+阅读 · 2019年6月21日
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员