论文报告 | Graph-based Neural Multi-Document Summarization

2017 年 12 月 15 日 科技创新与创业 王一帆

链接:https://arxiv.org/pdf/1706.06681.pdf

介绍: 
作为自然语言处理任务之一,文档摘要希望机器在大量的文档内容中给出相关的总结。目前,文档摘要主流的方法包括两个方面,生成式和抽取式。其中生成式主要采用的sequence encoder-decoder架构,通过生成式摘要,可以提炼文章主题,生成文章中没有内容,但生成式不能保证摘要的正确性。抽取式则是直接在文档中抽取重要内容作为摘要。传统抽取式模型主要通过计算句子的位置、词频等特征,将句子按照重要程度排序后依次选取句子作为摘要。但是,传统摘要模型并没有考虑句子之间的相互影响,因此,本位将句子抽象为节点,通过一定方式建立句子之间连边,考虑节点在整个文档网络的互相影响后,选取重要句子节点作为摘要。 
模型: 
文章主要考虑多文档摘要问题,即多个相关联文档给出一段摘要。模型结构如图所示

对于一个包含多个文档的集合。设计两个不同层次的GRU模型,句子级别和文档级别。在句子级别模型中通过GRU生成不同文档中的句子的向量表示(其中句子的向量表示通过GRU在该句子的最后一个隐含状态表示)。同时,构建文档集合中句子之间的连接关系,文中定义了三种确定句子之间连接关系的方法ADG、PDG以及tf-idf,将GRU生成的句子向量表示作为该句子节点的特征,输入图模型GCN中,经过三层GCN后得到该句子节点的新的状态表示。在文档级别的GRU模型中,通过输入句子序列生成单个文档的向量表示,多个文档集合的通过单个文档的向量表示取平均求得。最后,通过综合多文档向量表示和经过GCN后每个句子的向量表示,可以得到得到最终的loss,表示为

其中s_i为每个句子的向量表示,C为文档集合的向量表示,R(s_i)是句子s_i的和原摘要的rouge值。 
实验: 
实验通过将DUC01、DUC02作为训练集,DUC03作为验证集,DUC04作为测试集,得到了较好的的rouge结果。 
思考: 
图模型可以用以表示节点之间不同影响,在其他应用中,通过抽象节点和边,可以考虑这种相互影响,因此可以用在包括文档摘要在内的多种其他应用中。


王一帆,北京大学在读博士,研究方向为图模型深度学习、自然语言处理

登录查看更多
15

相关内容

必读的7篇IJCAI 2019【图神经网络(GNN)】相关论文-Part2
专知会员服务
58+阅读 · 2020年1月10日
必读的7篇 IJCAI 2019【图神经网络(GNN)】相关论文
专知会员服务
91+阅读 · 2020年1月10日
八篇NeurIPS 2019【图神经网络(GNN)】相关论文
专知会员服务
43+阅读 · 2020年1月10日
六篇 EMNLP 2019【图神经网络(GNN)+NLP】相关论文
专知会员服务
71+阅读 · 2019年11月3日
【ICLR2020】五篇Open代码的GNN论文
专知会员服务
47+阅读 · 2019年10月2日
一文读懂图卷积GCN
计算机视觉life
21+阅读 · 2019年12月21日
【论文笔记】基于强化学习的句子摘要排序
论文浅尝 | 基于知识图谱中图卷积神经网络的推荐系统
开放知识图谱
67+阅读 · 2019年8月27日
实验室学生参加 IJCAI 2019会议并做报告
inpluslab
16+阅读 · 2019年8月25日
【ACL】文本摘要研究工作总结
专知
26+阅读 · 2019年8月10日
论文浅尝 | Global Relation Embedding for Relation Extraction
开放知识图谱
12+阅读 · 2019年3月3日
论文浅尝 | Improved Neural Relation Detection for KBQA
开放知识图谱
13+阅读 · 2018年1月21日
Arxiv
21+阅读 · 2019年3月25日
Arxiv
23+阅读 · 2018年10月24日
VIP会员
相关资讯
一文读懂图卷积GCN
计算机视觉life
21+阅读 · 2019年12月21日
【论文笔记】基于强化学习的句子摘要排序
论文浅尝 | 基于知识图谱中图卷积神经网络的推荐系统
开放知识图谱
67+阅读 · 2019年8月27日
实验室学生参加 IJCAI 2019会议并做报告
inpluslab
16+阅读 · 2019年8月25日
【ACL】文本摘要研究工作总结
专知
26+阅读 · 2019年8月10日
论文浅尝 | Global Relation Embedding for Relation Extraction
开放知识图谱
12+阅读 · 2019年3月3日
论文浅尝 | Improved Neural Relation Detection for KBQA
开放知识图谱
13+阅读 · 2018年1月21日
Top
微信扫码咨询专知VIP会员