赛尔推荐 | 第14期

会员服务 ·

赛尔推荐 | 第14期

2018 年 5 月 9 日 哈工大SCIR 哈工大SCIR

本栏目每周将推荐若干篇由师生精心挑选的前沿论文，分周三、周五两次推送。

本次推荐了四篇关于个性化任务型对话系统、文本生成、实体表示、文本蕴含识别、多选题科学问答、临床预测、可解释的预测和层次化注意力机制的顶会论文。

推荐组：CR

推荐人：张伟男（研究方向：人机对话、自然语言处理）

论文题目：Personalizing a Dialogue System with Transfer Reinforcement Learning

作者：Kaixiang Mo, Yu Zhang, Shuangyin Li, Jiajun Li, Qiang Yang

出处：AAAI 2018

论文主要相关：个性化任务型对话系统

简评：在人机对话系统中，如何让机器（程序）尽可能的像人，是聊天机器人（开放域人机对话系统）和任务型对话系统统一的终极目标之一。除此之外，对人机对话系统的一个更高的要求就是机器（程序）能够具备不同的个性，或者是通过建模不同人的个性化模型，从而使机器（程序）具备像人一样的属性和说话方式，以及在协助人类完成某项任务时，表现出个性化的回复或提问方式。本期推荐的文章关注的就是任务型对话中的个性化POMDP模型。但是在该文章中，个性化的意味与我们传统意义上的理解还是有一定的差别的，毕竟任务型对话的目标是能够又好又快地帮助人们完成任务，所以这里的个性化实际倾向的是一种快速完成任务的“个性”。文章中借助迁移学习的方法学习大多数人共性的提问方式（是state而不是action），并将其迁移到未见用户中，相比于传统非迁移学习模型来说，这种迁移学习模型更加灵活，使得对话状态转移更具跳跃性，从而实现快速完成（给人的感觉有点猜的意味，猜对了则能快速完成，猜错了也不影响填槽）。该文章的方法与作者之前的一个文章思想类似[2]，具体的请看下面的相关文章。

论文链接：

https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/view/16104/16083

相关文章：

[1] Zhang W, Liu T, Wang Y, et al. Neural Personalized Response Generation as Domain Adaptation[J]. 2017.

[2] Yang M, Zhao Z, Zhao W, et al. Personalized Response Generation via Domain adaptation[C]// The, International ACM SIGIR Conference. ACM, 2017:1021-1024.

推荐组：LA

推荐人：刘洋（研究方向：语言分析）

论文题目：Neural Text Generation in Stories Using Entity Representations as Context

作者：Elizabeth Clark, Yangfeng Ji, Noah A. Smith

出处：NAACL 2018

论文主要相关：文本生成、实体表示

简评：在文本生成领域尤其是小说或者新闻故事的生成上，记录相关实体信息往往对于生成任务非常重要。本文介绍了一种神经文本生成方法，将传统Seq2Seq model与entity language model [1]结合，来生成叙事性文本，此方法中使用随着叙事发展不断更新的实体的向量表示，为之后的文本生成提供了相应的信息。结合实体信息的模型，在本文设计进行的两个自动评估的任务上相对未结合实体信息的基线模型得到了更好的效果。文章还对真实生成结果进行了人工评测，并提出了该领域上进一步的研究方向。

论文链接：

http://yangfengji.net/publication/papers/clark2018neural.pdf

参考文献：

[1] Ji Y., Tan C., Martschat, S. et al. Dynamic Entity Representations in Neural Language Models //[C] EMNLP 2017

推荐组：QA

推荐人：赵得志（研究方向：文本蕴含、问答系统）

论文题目：SCITAIL : A Textual Entailment Dataset from Science Question Answering

作者：Tushar Khot, Ashish Sabharwal, Peter Clark

出处：AAAI 2018

论文主要相关：文本蕴含识别、多选题科学问答

简评：本文构造了名为SCITAIL的文本蕴含数据集：蕴含假设（后件）来自多选科学问答任务的问题和其对应的正确答案，蕴含前提（前件）来自从大规模语料库中检索出的与问题和答案相关的web句子。相比起现有的文本蕴含数据集，SCITAIL是第一个蕴含前后件都来自自然文本的人工标注的蕴含数据集，这样的好处是避免了类似SNLI构建过程中手动生成蕴含句子的人工痕迹同时保留了更多的蕴含多样性（不受手写规则和手写生成想法的限制）；同时其也是第一个较大规模（27K蕴含对）的任务驱动构造的数据集，其数据和科学问答强相关，在该数据集上提高文本蕴含识别的表现可以自然的迁移到科学问答系统上提高其性能。最后作者证明因为web句子的语言多样性，想在该数据集上达到较好的表现是很困难的：作者使用在SNLI上达到SOTA的ESIM模型和DecompAtt模型在SCITAIL数据集上进行实验，发现准确率只比该数据集上最多类别比例高12%。同时本文提出了一个基于图的利用句法结构的蕴含模型作为baseline，在SCITAIL上比ESIM和DecompAtt模型提高了5%。

论文链接：

http://ai2-website.s3.amazonaws.com/publications/scitail-aaai-2018_cameraready.pdf

数据集链接：

http://data.allenai.org/scitail

推荐组：RC

推荐人：赵森栋（文本挖掘）

论文题目：Interpretable Predictions of Clinical Outcomes with An Attention-based Recurrent Neural Network

作者：Ying Sha, MayD. Wan

论文出处：ACM BCB 2017

论文主要相关：临床预测、可解释的预测、层次化注意力机制

简介：在医疗健康领域的很多工作中的一个主要的挑战就是数据，即使是像电子医疗记录（EHR）这种已经经过很好整理的数据也很难建模。医疗领域中数据的两个普遍的特点是高纬度和时序依赖。不同患者的医疗历史记录的长短不一且差距极大、还包含大量的层次化结构，这些都给医疗数据建模带来了很大的困难。传统的方法在建模医疗数据时常常会导致classifier-dependent特征和task-specific模型的问题。另外一个选择是深度学习模型，但是深度学习在医疗数据上最让人诟病的就是它缺乏可解释性。在深度学习模型中你很难推断出单个特征的重要程度，比如说血压指标对于心脏病的诊断的重要性到底如何，所以医疗工作者很难理解深度学习的预测结果。因此缺乏可解释性的模型是不被医学领域所接受的。

深度学习中的可解释性缺陷可以由注意力机制（attention mechanism）弥补。它能表示单个特征在某个特定的步骤中或者某个位置上对最终预测的相对重要程度。为了能够生成可解释的临床预测结果，本文提出一个基于带层次化注意力的RNN模型GRNN-HA，这个模型能解决：1）处理高纬度的医学编码；2）建模医疗事件的时序依赖；3）编码医疗数据的层次化结构；4）预测模型的可解释性。本文在MIMIC-III数据上进行死亡率的预测实验，取得了很好的结果。

论文链接：

https://dl.acm.org/citation.cfm?id=3107445

往期链接：

点击文末“阅读原文”即可查看完整赛尔推荐目录

（迁移学习、多对象情感分类、噪音建模）

（信息检索、生成式摘要、开放域问答）

（句子表示学习、描述生成、迁移学习）

（多轮交互中的语义分析、自然答案生成、问句重新表述和问答系统）