https://nowpublishers.com/article/Details/INR-076

匹配在搜索和推荐中都是一个关键问题,它是衡量文档与查询的相关性或用户对某个条目的兴趣。机器学习已经被用来解决这个问题,它根据输入表示和标记数据学习匹配函数,也被称为“学习匹配”。近年来,人们努力开发用于匹配搜索和推荐任务的深度学习技术。随着大量数据的可用性、强大的计算资源和先进的深度学习技术,用于匹配的深度学习现在已经成为最先进的搜索和推荐技术。深度学习方法成功的关键在于它在从数据(例如查询、文档、用户、条目和上下文,特别是原始形式)中学习表示和匹配模式的泛化方面的强大能力。

本文系统全面地介绍了最近发展起来的搜索推荐深度匹配模型。首先给出了搜索和推荐匹配的统一观点。这样,两个领域的解决方案就可以在一个框架下进行比较。然后,调查将目前的深度学习解决方案分为两类:表示学习方法和匹配函数学习方法。介绍了搜索中的查询-文档匹配和推荐中的用户-项匹配的基本问题和最新的解决方案。该调查旨在帮助搜索和推荐社区的研究人员深入了解和洞察空间,激发更多的想法和讨论,促进新技术的发展。

匹配并不局限于搜索和推荐。在释义、问题回答、图像注释和许多其他应用程序中都可以发现类似的问题。一般而言,调查中引入的技术可以概括为一个更一般的任务,即匹配来自两个空间的物体。

图1.1:搜索和推荐匹配的统一视图。

  • 输入层接收两个匹配对象,它们可以是单词嵌入、ID向量或特征向量。

  • 表示层将输入向量转换为分布式表示。这里可以使用MLP、CNN和RNN等神经网络,这取决于输入的类型和性质。

  • 交互层比较匹配对象(例如,两个分布式表示)并输出大量(局部或全局)匹配信号。矩阵和张量可以用来存储信号及其位置。

  • 聚合层将各个匹配信号聚合成一个高级匹配向量。该层通常采用深度神经网络中的pooling和catenation等操作。

  • 输出层获取高级匹配向量并输出匹配分数。可以利用线性模型、MLP、神经张量网络(NTN)或其他神经网络。

成为VIP会员查看完整内容
0
185

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

本教程介绍了机器学习(ML)的一些主要概念。从工程的角度来看,ML领域围绕着实现科学原理的软件开发: (i) 对一些现象设定一个假设(选择一个模型),(ii) 收集数据来验证假设(验证模型),(iii) 完善假设(迭代)。基于这一原理的一类重要算法是梯度下降法,它旨在迭代地细化由某个(权重)向量参数化的模型。通过结合假设空间(模型)、质量度量(损失)和模型优化(优化方法)的计算实现的不同选择,可以得到大量的ML方法。目前许多被认为是(人工)智能的系统都是基于几种基本机器学习方法的组合。在形式化ML问题的主要构建模块之后,讨论了ML方法的一些流行算法设计模式。本教程是在“机器学习:基本原理”和“人工智能”两门课程的课堂笔记基础上发起来的,这两门课程我从2015年开始在阿尔托大学(Aalto University)与人合作授课。

https://www.zhuanzhi.ai/paper/e45f282b068a1584cb0eaf0f0b338c20

成为VIP会员查看完整内容
0
102

文本排序的目标是生成一个有序的文本列表,这些文本从语料库中检索,以响应针对特定任务的查询。虽然最常见的文本排序是搜索,但是在许多自然语言处理应用程序中也可以找到该任务的实例。本书提供了一个关于文本排序与被称为transformer的神经网络结构的概述,其中BERT是最著名的例子。毫不夸张地说,transformer和自我监督预训练的结合已经彻底改变了自然语言处理(NLP)、信息检索(IR)等领域。在文本排序的上下文中,这些模型跨许多领域、任务和设置产生高质量的结果。

在这本书中,我们为希望更好地理解如何将transformer应用到文本排序问题的从业者和希望从事这一领域工作的研究人员提供了现有工作的综合。我们涵盖了广泛的现代技术,分为两个高级类别:transformer模型,在多阶段排序架构中执行重新排序,以及学习了试图直接执行排序的密集表示。有许多属于第一类的例子,包括基于相关性分类、从文本的多个部分收集证据、语料库分析和序列到序列模型的方法。虽然第二类方法还没有得到很好的研究,但使用transformer的表示学习是一个新兴的、令人兴奋的方向,必将吸引更多的关注。在我们的书中有两个主题:处理长文档的技术(超出了NLP中使用的典型逐句处理方法)和处理效率(结果质量)和效率(查询延迟)之间权衡的技术。

尽管transformer架构和预训练技术是最近的创新,但它们如何应用于文本排序的许多方面已经得到了相对较好的理解,并代表了成熟的技术。然而,还有许多有待解决的研究问题,因此,除了为预先训练的transformer文本排序奠定基础外,本书还试图预测该领域的发展方向。

引言

文本排序的目标是生成一个有序的文本列表,这些文本从语料库中检索,以响应针对特定任务的查询。最常见的文本排序是搜索,搜索引擎(也称为检索系统)根据用户查询的估计相关性生成一个文本排序列表(网页、科学论文、新闻文章、tweet等)。在这种情况下,相关文本是那些“关于”用户请求的主题并满足用户信息需求的文本。信息检索(IR)的研究人员称之为临时检索问题。

使用关键字搜索,也称为关键字查询(例如,在web上),用户通常在搜索框(例如,在浏览器中)中键入一些查询词,然后返回包含排序文本表示的结果。这些结果被称为排名列表,点击列表,点击量,排序文本的表示通常包括标题、相关元数据、文本本身的摘要(例如,突出显示用户查询词的keyword -context摘要),以及到原始数据源的链接。虽然有很多关于文本排序问题的例子(参见1.1节),但是这种特殊的场景是普遍存在的,而且无疑是所有读者都熟悉的。

该综述提供了一种称为Transformer的神经网络结构的文本排序的概述,其中最著名的例子是谷歌的发明,即BERT(来自Transformers的双向编码器表示)[Devlin et al., 2019]。毫无夸张地说,BERT已经彻底改变了自然语言处理(NLP)和信息检索(IR)以及更广泛的人类语言技术(HLT)等领域,这是一个包罗万象的术语,包括处理、分析和使用(人类)语言数据的技术。在文本排序方面,BERT提供的结果在质量上无疑比之前的结果更好。

成为VIP会员查看完整内容
0
35

图在许多应用中被广泛用于表示复杂数据,如电子商务、社交网络和生物信息学。高效、有效地分析图数据对于基于图的应用程序非常重要。然而,大多数图分析任务是组合优化(CO)问题,这是NP困难。最近的研究集中在使用机器学习(ML)解决基于图CO问题的潜力上。使用基于ML的CO方法,一个图必须用数值向量表示,这被称为图嵌入。在这个调查中,我们提供了一个全面的概述,最近的图嵌入方法已经被用来解决CO问题。大多数图嵌入方法有两个阶段:图预处理和ML模型学习。本文从图预处理任务和ML模型的角度对图嵌入工作进行分类。此外,本文还总结了利用图嵌入的基于图的CO方法。特别是,图嵌入可以被用作分类技术的一部分,也可以与搜索方法相结合来寻找CO问题的解决方案。最后对未来的研究方向做了一些评论。

成为VIP会员查看完整内容
0
52

本篇推荐来自CMU-LTI的小姐姐Zhuyun Dai博士论文《Neural Matching and Importance Learning in Information Retrieval》,是信息检索领域值得关注的最新工作。

作者介绍:

Zhuyun Dai

卡内基梅隆大学语言技术学院(LTI)的博士生。研究方向是提升当今信息检索系统的语言理解能力,构建下一代信息助理系统,帮助人们无缝地获取世界上的知识。

http://www.cs.cmu.edu/~zhuyund/index.html

信息检索中的神经匹配与重要性学习

地址:https://www.cs.cmu.edu/~zhuyund/zhuyundai_defense.pdf

在50-60年的时间里,信息检索(IR)系统依赖于词汇袋方法。尽管词包检索有一些长期存在的限制,但解决这些问题的尝试大多是不成功的。最近,神经网络为自然语言建模提供了一种新的范式。这篇论文的目的是结合IR的观点和神经网络的关键优势,以带来更深入的语言理解IR。

本论文的第一部分主要研究如何匹配查询和文档。 最先进的排序器以前依赖于精确的词汇匹配,这导致了众所周知的词汇不匹配问题。本文开发了将软匹配引入相关性排序的神经模型。利用分布式文本表示,我们的模型可以对每个查询词和每个文档词进行软匹配。由于软匹配信号有噪声,本文提出了一种新的核池技术,该技术根据软匹配对相关性的贡献对软匹配进行分组。本文还研究了预训练好的模型参数是否可以改善低资源域,以及模型架构在非文本检索任务中是否可重用。我们的方法比以前最先进的排名系统有很大的优势。

本论文的第二部分主要研究如何表示查询和文档。一个典型的搜索引擎使用频率统计来确定单词的权重,但是频繁的单词对文本的意义不一定是必要的。本论文开发的神经网络,以估计词的重要性,基于如何相互作用的语言语境。开发了一种弱监督方法,允许在没有任何人工注释的情况下训练我们的模型。我们的模型可以离线运行,在不影响效率的前提下显著提高了第一阶段的检索。

总之,本文提出了一种新的神经检索范式,克服了传统检索模型在匹配和重要性加权方面的局限性。在神经相关性排序、深度检索模型和深度文档理解等方面提出了一些有前景的方法。

成为VIP会员查看完整内容
0
44

书名: Deep Learning for Search

简介:

深度学习搜索是一本实用的书,关于如何使用(深度)神经网络来帮助建立有效的搜索引擎。这本书研究了一个搜索引擎的几个组成部分,提供了关于它们如何工作的见解以及如何在每个环境中使用神经网络的指导。重点介绍了基于实例的实用搜索和深度学习技术,其中大部分都有代码。同时,在适当的地方提供相关研究论文的参考资料,以鼓励阅读更多的书籍,加深对特定主题的知识。

读完这本书,将对搜索引擎的主要挑战有所理解,它们是如何被普遍解决的以及深度学习可以做些什么来帮助。并且将对几种不同的深度学习技术以及它们在搜索环境中的适用范围有一个理解,将很好地了解Lucene和Deeplearning4j库。

这本书主要分为3个部分:

  • 第1部分介绍了搜索、机器学习和深度学习的基本概念。第一章介绍了应用深度学习技术来搜索问题的原理,涉及了信息检索中最常见的方法。第2章给出了如何使用神经网络模型从数据中生成同义词来提高搜索引擎效率的第一个例子。

  • 第2部分讨论了可以通过深度神经网络更好地解决的常见搜索引擎任务。第3章介绍了使用递归神经网络来生成用户输入的查询。第四章在深度神经网络的帮助下,在用户输入查询时提供更好的建议。第5章重点介绍了排序模型:尤其是如何使用词嵌入提供更相关的搜索结果。第6章讨论了文档嵌入在排序函数和内容重新编码上下文中的使用。

  • 第3部分将介绍更复杂的场景,如深度学习机器翻译和图像搜索。第7章通过基于神经网络的方法为你的搜索引擎提供多语言能力来指导你。第8章讨论了基于内容的图像集合的搜索,并使用了深度学习模型。第9章讨论了与生产相关的主题,如微调深度学习模型和处理不断输入的数据流。

作者简介:

Tommaso Teofili是一名软件工程师,他对开源机器学习充满热情。作为Apache软件基金会的成员,他为许多开放源码项目做出了贡献,从信息检索到自然语言处理和机器翻译等主题。他目前在Adobe工作,开发搜索和索引基础结构组件,并研究自然语言处理、信息检索和深度学习等领域。他曾在各种会议上发表过搜索和机器学习方面的演讲,包括BerlinBuzzwords、计算科学国际会议、ApacheCon、EclipseCon等。

成为VIP会员查看完整内容
0
157

简介: 在许多将数据表示为图形的领域中,学习图形之间的相似性度量标准被认为是一个关键问题,它可以进一步促进各种学习任务,例如分类,聚类和相似性搜索。 最近,人们对深度图相似性学习越来越感兴趣,其中的主要思想是学习一种深度学习模型,该模型将输入图映射到目标空间,以使目标空间中的距离近似于输入空间中的结构距离。 在这里,我们提供对深度图相似性学习的现有文献的全面回顾。 我们为方法和应用提出了系统的分类法。 最后,我们讨论该问题的挑战和未来方向。

在特征空间上学习足够的相似性度量可以显着确定机器学习方法的性能。从数据自动学习此类度量是相似性学习的主要目的。相似度/度量学习是指学习一种功能以测量对象之间的距离或相似度,这是许多机器学习问题(例如分类,聚类,排名等)中的关键步骤。例如,在k最近邻(kNN)中分类[25],需要一个度量来测量数据点之间的距离并识别最近的邻居;在许多聚类算法中,数据点之间的相似性度量用于确定聚类。尽管有一些通用度量标准(例如欧几里得距离)可用于获取表示为矢量的对象之间的相似性度量,但是这些度量标准通常无法捕获正在研究的数据的特定特征,尤其是对于结构化数据。因此,找到或学习一种度量以测量特定任务中涉及的数据点的相似性至关重要。

成为VIP会员查看完整内容
0
80

题目: 人工智能之信息检索与推荐

简介: 信息检索和推荐属于人工智能应用最成功的几个领域。几乎所有的互联网产品都包含搜索和推荐功能,用于解决通用的信息获取需求以及提供个性化服务。AMiner发布的《人工智能之信息检索与推荐》报告,分别从技术、人才等角度来介绍信息检索和推荐。

报告目录:

  • 概述篇
    • 信息检索的概念与发展
    • 信息推荐的概念与发展
    • 信息检索和信息推荐的联系和区别
  • 技术篇
    • 信息检索部分前沿技术
    • 信息推荐部分前沿技术
    • 信息检索与推荐领域相关资源
  • 人才篇
    • 学者情况概览
    • 论文介绍
  • 产业应用篇
    • 典型技术应用产品
    • 垂直引用
    • 产品推荐
    • 音乐推荐
    • 信息流推荐
  • 趋势篇
    • 发展关键词回顾
    • 技术预见
成为VIP会员查看完整内容
人工智能之信息检索与推荐.pdf
0
68
小贴士
相关VIP内容
相关资讯
相关论文
Sneha Chaudhari,Gungor Polatkan,Rohan Ramanath,Varun Mithal
12+阅读 · 2019年4月5日
CHIP: Channel-wise Disentangled Interpretation of Deep Convolutional Neural Networks
Xinrui Cui,Dan Wang,Z. Jane Wang
5+阅读 · 2019年2月7日
Yeonwoo Jeong,Hyun Oh Song
4+阅读 · 2018年6月12日
Wonsik Kim,Bhavya Goyal,Kunal Chawla,Jungmin Lee,Keunjoo Kwon
16+阅读 · 2018年4月2日
Christian Rupprecht,Iro Laina,Nassir Navab,Gregory D. Hager,Federico Tombari
4+阅读 · 2018年3月30日
Kun He,Fatih Cakir,Sarah Adel Bargal,Stan Sclaroff
5+阅读 · 2018年3月28日
Christian Buck,Jannis Bulian,Massimiliano Ciaramita,Wojciech Gajewski,Andrea Gesmundo,Neil Houlsby,Wei Wang
6+阅读 · 2018年1月23日
Linyuan Gong,Ruyi Ji
8+阅读 · 2018年1月19日
Vincent Dumoulin,Francesco Visin
6+阅读 · 2018年1月11日
Yixing Fan,Liang Pang,JianPeng Hou,Jiafeng Guo,Yanyan Lan,Xueqi Cheng
5+阅读 · 2017年7月23日
Top