题目:A Neural Conversation Generation Model via Equivalent Shared Memory Investigation

简介:对话生成作为自然语言生成 (NLG) 中的一项具有挑战性的任务,在过去几年中越来越受到关注。最近的一些工作采用了序列到序列结构以及外部知识,成功地提高了生成对话的质量。然而,构建大规模的外部知识不仅耗费大量人力物力,并且模型的领域适用性受到限制。在本篇文章中,我们将相似对话作为一种知识来提高对话生成的性能。以客户服务和法庭辩论领域为例,从相似的对话实例中提取必要的实体,短语,句子及其相关逻辑关系。这些信息可以为改善对话生成提供有用的信号。在本文中,我们提出了一种新的阅读和记忆框架,称为深度阅读记忆网络(DRMN),它能够记住相似对话的有用信息,以改善话语生成。我们将我们的模型应用于司法领域和电子商务领域的两个大规模对话数据集。实验证明,所提出的模型取得了最好的效果。

https://www.zhuanzhi.ai/paper/0399571c887d82ff2eeca6a1452dad47

成为VIP会员查看完整内容
0
6

相关内容

为了研究像Stack Overflow这样的社区问答(CQA)平台,人们提出了各种数据挖掘任务。这些任务之间的相关性通过多任务学习(MTL)为彼此提供了有用的学习信号。然而,由于这些任务的高度异质性,很少有现有的工作能够在一个统一的框架中共同解决它们。为了解决这一难题,我们开发了一种基于多关系图的MTL模型——异构多任务图同构网络(Heterogeneous Multi-Task graph Isomorphism Network, HMTGIN),该模型有效地解决了异构CQA任务。在每次训练前向传递中,HMTGIN通过图同构网络的扩展和跳跃连接嵌入输入的CQA论坛图。嵌入然后在所有特定任务的输出层共享,以计算各自的损失。此外,利用两个基于任务关系领域知识的跨任务约束对联合学习进行正则化。在评估中,嵌入在不同的任务特定的输出层之间共享,以做出相应的预测。据我们所知,HMTGIN是第一个能够从多关系图的角度处理CQA任务的MTL模型。为了评估HMTGIN的有效性,我们从Stack Overflow中构建了一个具有200多万个节点的大规模多关系图CQA数据集。大量实验表明: (1) HMTGIN在5个任务上优于所有基线; (2) 提出的MTL策略和跨任务约束具有显著优势。

https://arxiv.org/abs/2110.02059

成为VIP会员查看完整内容
0
6

会话代理面临的一个挑战是,它们无法识别用户命令的未声明的假设,这对于人类来说是一项微不足道的任务,因为它们具有常识。为了实现这一目标,本文提出了一个面向会话代理的零样本常识推理系统。我们的推理器从满足if-(状态),then-(动作),because-(目标)的一般模板的用户命令中发现未声明的假设。我们的推理器使用最先进的基于transformer的生成常识知识库(KB)作为其推理背景知识的来源。我们提出了一种新颖的迭代知识查询机制,利用符号逻辑规则从神经知识库中提取多跳推理链,大大减少了搜索空间。与迄今为止收集到的任何KBs类似,我们的常识知识库很容易丢失知识。因此,我们提出了一种新的动态问题生成策略,以对话方式从人类用户中引出缺失的知识,该策略为人类用户生成并呈现上下文化的查询。我们通过用户研究来评估该模型,与SOTA相比,该模型的成功率提高了35%。

https://arxiv.org/abs/2109.08544

成为VIP会员查看完整内容
0
10

论文概述:为预训练语言模型设计与下游任务更加接近的预训练任务与目标,可以在微调阶段获得更好的效果,尤其是在信息检索领域。现有的面向信息检索的预训练方法试图引入一些弱监督信号,例如基于查询似然的采样,来从海量文本语料中生成伪查询-文档对,从而完成对预训练模型的监督训练。但是,这些信号严重依赖于具体的采样算法。例如,查询似然模型可能在构建预训练数据时带来严重的噪声。因此,在本文中,我们提出利用语料中大规模的超链接与锚文本,来完成面向的信息检索的预训练语言模型。超链通常是由网络管理员或用户人工添加,且能很好的总结对应文档。因此,相比现有的基于采样算法的模型,超链可以帮助构建更加准确和可靠的预训练样本。考虑到下游信息检索任务的不同角度,我们设计了四个基于超链的预训练任务,包括代表性查询预测,查询消歧建模,代表性文档预测,锚文本共线建模,从而让模型学习相关性建模能力。连同掩码语言模型(MLM),我们使用Pair-wise损失函数对Transformer模型进行预训练。为了评价我们提出的预训练方法的有效性,我们在两个信息检索的数据集上进行了微调,包括MSMARCO Document Ranking数据集以及TREC DL 2019数据集。实验结果证明,我们的模型相比现有最好的模型有明显的效果提升。

https://arxiv.org/pdf/2108.09346.pdf

成为VIP会员查看完整内容
0
11

近年来,人们致力于提高推荐系统的准确性和相关性。多样性是衡量所推荐项目之间差异的一个关键因素,但很少受到仔细研究。与用户满意度直接相关的是,在生成候选条目后,多样化通常被考虑在内。然而,这种多样化和候选生成的解耦设计使得整个系统处于次优状态。在本文中,我们的目标是利用图卷积网络(GCN)将多元化推至上游候选生成阶段。尽管基于GCN的推荐算法在建模复杂的协同过滤效果以提高推荐的准确性方面表现出了巨大的能力,但在这些先进的工作中,多样性变化是如何被忽略的。我们提出在GCN的基础上执行重新平衡的邻居发现、类别增强的负采样和对抗学习。我们在真实世界的数据集上进行大量的实验。实验结果验证了本文方法的有效性。进一步的消融研究验证了我们提出的方法显著缓解了准确性-多样性的困境。

http://fi.ee.tsinghua.edu.cn/public/publications/b344fd48-92b0-11eb-96bc-0242ac120003.pdf

成为VIP会员查看完整内容
0
25

https://www.zhuanzhi.ai/paper/19590a2a40a84addde18b8a37112c3fc

关于概念及其属性的常识知识(CSK)对于人工智能应用程序(如健壮的聊天机器人)是有用的。以前的作品,如ConceptNet、TupleKB和其他一些人编译了大量的CSK集合,但它们在表达上受到限制,只包含了S的简单概念和P和o的单一字符串的主语-谓语-宾语(SPO)三元组。此外,这些项目要么优先考虑精度,要么优先考虑回忆,但很难协调这些互补的目标。本文提出了一种自动构建大规模CSK断言知识库的方法——Ascent,该方法具有更高的表达能力,同时具有比以往的研究更好的查全率和查全率。Ascent通过捕获带有子组和方面的复合概念,以及使用语义方面精炼断言,从而超越了三元组。后者对于表示断言和进一步限定符的时间和空间有效性很重要。Ascent使用语言模型将开放信息提取相结合。内部评估显示了提升Ascent KB知识库的卓越大小和质量。

成为VIP会员查看完整内容
0
11

图神经网络(GNNs)最近在图学习方面取得了重大进展。尽管GNN具有丰富的表示能力,但对于大规模的社会建模应用来说,GNN的开发仍然相对不足。在线社交平台中普遍存在的一种应用是好友推荐:平台向用户推荐其他候选用户,以提高用户的联系性、留存率和参与度。然而,在大型社交平台上建模这样的用户-用户互动带来了独特的挑战: 这些图表通常有重尾度分布,其中很大一部分用户是不活跃的,并且结构和参与信息有限。此外,用户与不同的功能进行交互,与不同的组进行交流,并具有多方面的交互模式。我们研究了用于好友推荐的GNN应用,就我们所知,为这项任务提供了GNN设计的首次研究。为了充分利用平台内异构用户行为的丰富知识,我们将好友推荐设计为具有多模式用户特征和链接传播特征的多层面好友排名。我们提出了一个神经结构,GraFRank,它是精心设计的,从多种用户特征形态和用户-用户交互中学习表达用户表示。具体而言,GraFRank通过模态特定的邻居聚合器处理模态同质性的异质性,并通过交叉模态关注学习非线性模态相关性。我们在两个数百万用户的社交网络数据集上进行了实验,这些数据集来自领先和广泛流行的移动社交平台Snapchat,在候选检索(30%的MRR)和排名(20%的MRR)任务上,GraFRank的表现优于一些最先进的方法。此外,我们的定性分析表明,低活跃度和低级别用户的关键人群获得了显著收益。

成为VIP会员查看完整内容
0
32

拥有良好医学知识的人类医生,只需与病人进行几次有关症状的对话,就能诊断出疾病。相比之下,现有的以知识为基础的对话系统往往需要大量对话实例来学习,因为它们无法捕捉不同疾病之间的相关性,忽视了它们之间共享的诊断经验。为解决这一问题,我们提出了一种更自然、更实用的范式,即低资源的医疗对话生成,它可以将源疾病的诊断经验转移到有少量数据可供适应的目标疾病。它利用常识知识图谱来表征先前的疾病症状关系。此外,我们还开发了一个图演化元学习(GEML)框架,该框架通过学习进化常识图谱来推理一种新疾病的疾病症状相关性,有效地缓解了大量对话的需求。更重要的是,通过动态演变的疾病症状图,GEML还很好地解决了现实世界的挑战,即每种疾病的疾病症状相关性可能随着更多诊断病例而变化或演变。在CMDD数据集和我们新收集的Chunyu数据集上的大量实验结果证明了我们的方法优于最先进的方法。此外,GEML还可以在线生成丰富的对话敏感的知识图谱,对其他基于知识图谱的任务有借鉴意义。

https://www.zhuanzhi.ai/paper/e378691f4b084a18b1a0238815c63fb6

成为VIP会员查看完整内容
0
28

特定领域的知识库(KB)从各种数据源精心整理而来,为专业人员提供了宝贵的参阅咨询。由于自然语言理解和人工智能的最新进展,会话系统使这些KBs很容易被专业人员访问,并且越来越受欢迎。尽管在开放域应用程序中越来越多地使用各种会话系统,但特定于域的会话系统的需求是完全不同的,而且具有挑战性。在本文中,我们针对特定领域的KBs提出了一个基于本体的对话系统。特别是,我们利用领域本体中固有的领域知识来识别用户意图,并利用相应的实体来引导对话空间。我们结合了来自领域专家的反馈来进一步细化这些模式,并使用它们为会话模型生成训练样本,减轻了会话设计人员的沉重负担。我们已经将我们的创新集成到一个对话代理中,该代理关注医疗保健,这是IBM Micromedex产品的一个特性。

https://dl.acm.org/doi/abs/10.1145/3318464.3386139

成为VIP会员查看完整内容
0
22

人机对话系统能够让机器通过人类语言与人进行交互,是人工智能领域的一项重要工作。因其在虚拟助手和社交聊天机器人等领域的商业价值而广受工业界和学术界的关注。近年来,互联网社交数据快速增长促进了数据驱动的开放领域对话系统研究,尤其是将深度学习技术应用到其中取得了突破性进展。基于深度学习的开放领域对话系统使用海量社交对话数据,通过检索或者生成的方法建立对话模型学习对话模式。将深度学习融入检索式系统中研究提高对话匹配模型的效果,将深度学习融入生成式系统中构建更高质量的生成模型,成为了基于深度学习的开放领域对话系统的主要任务。本文对近几年基于深度学习的开放领域对话系统研究进展进行综述,梳理、比较和分析主要方法,整理其中的关键问题和已有解决方案,总结评测指标,展望未来研究趋势。

成为VIP会员查看完整内容
0
54
小贴士
相关VIP内容
专知会员服务
11+阅读 · 8月24日
专知会员服务
25+阅读 · 7月6日
专知会员服务
25+阅读 · 4月18日
专知会员服务
11+阅读 · 2月16日
专知会员服务
32+阅读 · 2月3日
专知会员服务
28+阅读 · 2020年12月26日
专知会员服务
22+阅读 · 2020年9月25日
[综述]基于深度学习的开放领域对话系统研究综述
专知会员服务
54+阅读 · 2019年10月12日
相关论文
Peter Ayre,Amin Coja-Oghlan,Catherine Greenhill
0+阅读 · 10月19日
Jianxin Chang,Chen Gao,Yu Zheng,Yiqun Hui,Yanan Niu,Yang Song,Depeng Jin,Yong Li
6+阅读 · 6月27日
Zhuohan Li,Eric Wallace,Sheng Shen,Kevin Lin,Kurt Keutzer,Dan Klein,Joseph E. Gonzalez
10+阅读 · 2020年6月23日
Ivana Balazevic,Carl Allen,Timothy M. Hospedales
8+阅读 · 2018年10月18日
Theme-weighted Ranking of Keywords from Text Documents using Phrase Embeddings
Debanjan Mahata,John Kuriakose,Rajiv Ratn Shah,Roger Zimmermann,John R. Talburt
5+阅读 · 2018年7月16日
Relational recurrent neural networks
Adam Santoro,Ryan Faulkner,David Raposo,Jack Rae,Mike Chrzanowski,Theophane Weber,Daan Wierstra,Oriol Vinyals,Razvan Pascanu,Timothy Lillicrap
8+阅读 · 2018年6月28日
Shiyu Zhou,Linhao Dong,Shuang Xu,Bo Xu
4+阅读 · 2018年6月4日
Furu Wei
4+阅读 · 2018年5月10日
Adams Wei Yu,David Dohan,Minh-Thang Luong,Rui Zhao,Kai Chen,Mohammad Norouzi,Quoc V. Le
3+阅读 · 2018年4月23日
Top