学界 | 赛尔推荐：他们最近在看哪些论文？

「赛尔推荐」栏目每周将推荐若干篇由师生精心挑选的前沿论文，首发于公众号「哈工大SCIR」，AI 科技评论获授权转发。

每篇荐文将包含推荐人简评，推荐人研究方向等。如对论文有疑问或者想进一步交流，欢迎大家联系推荐人共同讨论。

P.S.建议先收藏！

1. A Knowledge-Grounded Neural Conversation Model（AAAI 2018）

Marjan Ghazvininejad, Chris Brockett, Ming-Wei Chang, Bill Dolan, Jianfeng Gao, Wen-tau Yih, Michel Galley

#人机对话  #神经网络模型  #知识工程

推荐人：张伟男（研究方向：人机对话，自然语言处理）

简评：在传统的 Encoder-Decoder 对话生成框架中，融入知识库作为中间件，生成相关性更好、信息更丰富的回复。这篇文章的亮点在于在完全数据驱动的端到端框架下，融入外部知识做生成内容的控制，当然完全数据驱动以及端到端训练本身已经不算什么新意，但将外部知识表示成若干的 Facts 并通过一个额外的记忆网络编码后加入到解码过程中则是文章主要的创新点。实验设计中规中矩，对比系统略显单薄。

论文链接：

https://www.microsoft.com/en-us/research/wp-content/uploads/2017/02/A_Knowledge_Grounded_Neural_Conversation_Model.pdf

2. Annotation Artifacts in Natural Language Inference Data（NAACL 2018）

#自然语言推理

推荐人：刘一佳（研究方向：句法分析、语义分析）

简评：这是一篇即将发表在 NAACL 2018 上的论文。第一作者 Suchin Gururangan 来自华盛顿大学语言系，其余作者包括 Omer Levy、Sam Bowman、Noah Smith 等知名学者。本文提出一个值得讨论的问题：自然语言推理（NLI）数据在构造的过程中存在一系列的人工模式，这种模式的直接后果是模型可以在不需要知道推理前提（premise）的条件下就可以以 67%的准确率判断推理假设（hypothesis）是否是蕴含（entailment）中立（neural）或对立（contradiction）。文中值得关注的地方包括：如何分析数据，发掘其中的人工模式；如何在发掘了人工模式的基础上重新审视现有模型。另外，一个更泛化的问题是：我们的模型是真的完成我们对于相应任务的目标，还是在单纯「玩弄」数据？

论文链接：

https://arxiv.org/pdf/1803.02324.pdf

3. Dynamic Coattention Network for Question Answering（ICLR 2017）

#基于文档集的问答（Document-based Question Answering）

推荐人：施琦（研究方向：问答系统）

简评：这是一篇发表于 ICLR 2017 上的文章，最近在 arxiv 上做了更新。本文在传统的 seq2seq 框架的 encoder 部分中加入了 co-attention 机制去融合表示问题和文档信息，然后再通过 Bi-LSTM 对已融合的信息和文档再次融合，得到最终表示结果；Decoder 部分通过 HMN 预测结果，并通过 LSTM 保存历史预测信息进行动态迭代。实验部分采用 EM 和 F1 来评价。文章主要亮点主要仍在于模型的创新，encoder 中的 co-attention 机制以及 decoder 中的动态迭代机制。通过动态迭代机制，可以避免模型陷入局部最优解从而得到错误的答案。

论文链接：

https://arxiv.org/pdf/1611.01604.pdf

数据集链接：

https://rajpurkar.github.io/SQuAD-explorer/

4. A causal framework for explaining the predictions of black-box sequence-to-sequence models （EMNLP 2017）

#sequence-to-sequence 模型  #预测的可解释性  #机器翻译

推荐人：赵森栋（研究方向：文本挖掘）

简评：这是一篇理论性很强的文章，作者来自于著名的 MIT CSAIL(麻省理工人工智能实验室)。这篇文章的立意非常有意思，因为我们都知道，深度学习的可解释性是很多人的一块心病。本文试图解释神经网络的内部工作机制，旨在研究深度神经网络 sequence-to-sequence 模型的输入和输出之间的因果关联，进而解释输入序列和输出序列之间的映射关系。

很多 NLP 任务都用到的结构预测模大多数不具有可解释性。例如，很多面向 NLP 的深度学习模型中有大量的参数和复杂的结构。这些黑盒系统虽然在很多 NLP 任务上都获得了最好的结果，但是它们的结果却不可解释。如果模型有很好的解释能力，那么好处是很明显的。例如可以提高我们对模型的信任，可以更清楚的进行错误分析进而对模型进行更有针对性的优化。例如，在医疗决策系统中，不可解释、不能被医学专家验证的预测是不被接受的。如果无法理解系统输入是如何映射到输出上的，那么对于错误来源的分析也会是很大的挑战。

目前对于可解释性的研究，已有的工作主要从两个角度来进行：模型的可解释性，即使结构本身可解释；和预测的可解释性，即解释模型的特定预测。寻求让模型完全透明化是不太可能的。因此，在这篇文章中作者提出了一个针对预测可解释性的新方法。这个方法会返回一个「解释」，由一组输入和输出符号组成，并且输入和输出是因果相关的。这种因果依赖通过分析模型输入上的扰动产生的效果来获得。对于每个句子，用一个变异的 auto encoder 来产生变化，句子的变化都是语义相关的。由此推断出的因果依赖（区间估计）会产生一个在符号上的二部图（例如，词序列到词序列的连接二部图）。「解释」可以被推导为这个二部图上的最小割 k-分划。

论文链接：

http://aclweb.org/anthology/D17-1042

P.S.

如果你在自己的研究和学习过程中也有想要分享的优质文章，请联系 AI 科技评论。

推荐内容包括：

1. 论文名字

2. 作者/机构

3. 录用渠道（选填）

4. 论文领域

5. 推荐简介（200-300字）

邮箱：

zengbingyu@leiphone.com

微信：

zengbingyu1018

对了，我们招人了，了解一下？

限时拼团---NLP工程师入门实践班

三大模块，五大应用，知识点全覆盖；海外博士讲师，丰富项目分享经验；

理论+实践，带你实战典型行业应用；专业答疑社群，结交志同道合伙伴。

点击阅读原文或扫码立即参团~

┏(＾0＾)┛欢迎分享，明天见！