Sentence matching is a fundamental task of natural language processing with various applications. Most recent approaches adopt attention-based neural models to build word- or phrase-level alignment between two sentences. However, these models usually ignore the inherent structure within the sentences and fail to consider various dependency relationships among text units. To address these issues, this paper proposes a graph-based approach for sentence matching. First, we represent a sentence pair as a graph with several carefully design strategies. We then employ a novel gated graph attention network to encode the constructed graph for sentence matching. Experimental results demonstrate that our method substantially achieves state-of-the-art performance on two datasets across tasks of natural language and paraphrase identification. Further discussions show that our model can learn meaningful graph structure, indicating its superiority on improved interpretability.


翻译:句子匹配是自然语言处理与各种应用的基本任务。 多数最近的做法都采用了基于注意的神经模型, 以在两个句子之间构建字词或字词级一致。 但是, 这些模型通常忽略句子的内在结构, 不考虑文本单位之间的各种依赖关系 。 为了解决这些问题,本文件提议了一种基于图表的句子匹配方法 。 首先, 我们代表一对句子作为图表, 配有几种仔细设计的战略 。 然后我们使用一个新的封闭式图形关注网络, 编码构建的句子匹配图 。 实验结果显示, 我们的方法在自然语言和参数识别任务之间的两个数据集上取得了最先进的性能 。 进一步的讨论显示, 我们的模式可以学习有意义的图形结构, 表明其在改进可解释性方面的优势 。

0
下载
关闭预览

相关内容

图注意力网络(Graph Attention Network,GAT),它通过注意力机制(Attention Mechanism)来对邻居节点做聚合操作,实现了对不同邻居权重的自适应分配,从而大大提高了图神经网络模型的表达能力。
一份简单《图神经网络》教程,28页ppt
专知会员服务
123+阅读 · 2020年8月2日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
181+阅读 · 2020年4月26日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
Capsule Networks,胶囊网络,57页ppt,布法罗大学
专知会员服务
67+阅读 · 2020年2月29日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
一文读懂依存句法分析
AINLP
16+阅读 · 2019年4月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Arxiv
13+阅读 · 2019年11月14日
Arxiv
24+阅读 · 2018年10月24日
Arxiv
10+阅读 · 2018年2月4日
Arxiv
23+阅读 · 2017年3月9日
VIP会员
相关VIP内容
一份简单《图神经网络》教程,28页ppt
专知会员服务
123+阅读 · 2020年8月2日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
181+阅读 · 2020年4月26日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
Capsule Networks,胶囊网络,57页ppt,布法罗大学
专知会员服务
67+阅读 · 2020年2月29日
Top
微信扫码咨询专知VIP会员