论文报告 | Graph-based Neural Multi-Document Summarization

链接：https://arxiv.org/pdf/1706.06681.pdf

介绍： 
作为自然语言处理任务之一，文档摘要希望机器在大量的文档内容中给出相关的总结。目前，文档摘要主流的方法包括两个方面，生成式和抽取式。其中生成式主要采用的sequence encoder-decoder架构，通过生成式摘要，可以提炼文章主题，生成文章中没有内容，但生成式不能保证摘要的正确性。抽取式则是直接在文档中抽取重要内容作为摘要。传统抽取式模型主要通过计算句子的位置、词频等特征，将句子按照重要程度排序后依次选取句子作为摘要。但是，传统摘要模型并没有考虑句子之间的相互影响，因此，本位将句子抽象为节点，通过一定方式建立句子之间连边，考虑节点在整个文档网络的互相影响后，选取重要句子节点作为摘要。 
模型： 
文章主要考虑多文档摘要问题，即多个相关联文档给出一段摘要。模型结构如图所示

对于一个包含多个文档的集合。设计两个不同层次的GRU模型，句子级别和文档级别。在句子级别模型中通过GRU生成不同文档中的句子的向量表示（其中句子的向量表示通过GRU在该句子的最后一个隐含状态表示）。同时，构建文档集合中句子之间的连接关系，文中定义了三种确定句子之间连接关系的方法ADG、PDG以及tf-idf，将GRU生成的句子向量表示作为该句子节点的特征，输入图模型GCN中，经过三层GCN后得到该句子节点的新的状态表示。在文档级别的GRU模型中，通过输入句子序列生成单个文档的向量表示，多个文档集合的通过单个文档的向量表示取平均求得。最后，通过综合多文档向量表示和经过GCN后每个句子的向量表示，可以得到得到最终的loss，表示为

其中s_i为每个句子的向量表示，C为文档集合的向量表示，R(s_i)是句子s_i的和原摘要的rouge值。 
实验： 
实验通过将DUC01、DUC02作为训练集，DUC03作为验证集，DUC04作为测试集，得到了较好的的rouge结果。 
思考： 
图模型可以用以表示节点之间不同影响，在其他应用中，通过抽象节点和边，可以考虑这种相互影响，因此可以用在包括文档摘要在内的多种其他应用中。

王一帆，北京大学在读博士，研究方向为图模型深度学习、自然语言处理