赛尔推荐 | 第18期

本栏目每周将推荐若干篇由师生精心挑选的前沿论文，分周三、周五两次推送。

本次推荐了四篇关于任务型对话系统评价、用户模拟框架、训练损失平滑、语言模型、阅读理解、文本风格迁移的论文。

1

推荐组：CR

推荐人：张杨子（研究方向：对话系统回复质量评价）

论文题目：Neural User Simulation for Corpus-based Policy Optimisation for Spoken Dialogue Systems

作者：Florian Kreyssig, Inigo Casanueva, Pawel Budzianowski, Milica Gasic

出处：arxiv

论文主要相关：任务型对话系统评价，用户模拟框架

简评：

论文介绍了一个基于神经网络的用户模拟框架（NUS），将系统回复的语义信息当作simulator的输入内容，并给出一个自然语言回复。与传统的基于agenda的用户模拟器（ABUS）相比，NUS可以使用更少的标注数据产生回复与语义信息，NUS还可以从人人对话数据集中学习真实的用户行为，得到的结果可以作用于更新强化学习中的策略。实验使用NUS与ABUS分别去训练策略并进行评价，NUS训练出的策略分别在奖励和任务完成度两个指标上超过了ABUS。同时，本文也使真实用户进行评价。在这一评价里，NUS的表现也好于ABUS。

论文链接：

https://arxiv.org/abs/1805.06966

2

推荐组：LA

推荐人：滕德川（研究方向：文本匹配）

论文题目：Token-level and sequence-level loss smoothing for RNN language models

作者：Maha Elbayad, Laurent Besacier, Jakob Verbeek

出处：ACL 2018

论文主要相关：训练损失平滑，语言模型

简评：

最大似然估计是训练循环神经网络时最常用的策略，然而，最大似然估计有两点限制。一是，只能将标准输出与其他输出区分开，其他输出均视为错误，忽略了它们与标准输出的语义接近与否。二是，训练时基于输入和先前的标准输出符号预测下一个符号，而测试时是基于输入和先前生成的输出符号，导致了暴露偏置（exposure bias）。为了克服这两点限制，本文对奖励增强最大似然估计做了改进，在序列级损失平滑中加入了符号级损失平滑，根据给定的评价标准，引导模型生成与标准输出接近的序列。具体而言，将对狄拉克分布（Diarc distribution）的最大似然估计变为最小化考虑语义距离的输出分布与模型输出分布之间的KL散度（KL-divergence）。在相似句子上的新分布是对狄拉克分布的平滑，增加了输出空间中训练数据的支持。在图像描述和机器翻译两个任务上的实验表明，两个级别的损失平滑相辅相成，显著地提高了结果。

论文链接：

https://arxiv.org/pdf/1805.05062.pdf

3

推荐组：QA

推荐人：施琦（研究方向：问答系统）

论文题目：Joint Training of Candidate Extraction and Answer Selection for Reading Comprehension

作者：Zhen Wang, Jiachen Liu, Xinyan Xiao, Yajuan Lyu, Tian Wu

出处：ACL 2018

论文主要相关：阅读理解

简评：

论文将阅读理解任务制定为抽取-选择的过程。第一步为候选答案抽取，即在给定的多个文档中选择若干候选答案作为候选答案集；第二步为最佳答案选择，即在考虑整个候选答案集合信息的前提下从这个候选答案集合中选择最佳答案。训练过程采用强化学习的方法，并将候选答案抽取看作隐变量来实现两个步骤的同步训练。实验采用的数据集为Quasar-T和SearchQA，采用EM和F1指标评价，并将同步训练以及独立训练进行了对比。传统的阅读理解模型主要致力于通过attention方法建立问题与文档之间的联系，而本文的主要创新是在此基础上充分考虑了候选答案在阅读理解中的作用，在最佳答案选择步骤的模型中得到了体现。此外，实验效果显著，设计合理。

论文链接：

https://arxiv.org/pdf/1805.06145.pdf

4

推荐组：RC

推荐人：李家琦（研究方向：篇章结构）

论文题目：Delete, Retrieve, Generate: A Simple Approach to Sentiment and Style Transfer.

作者：Juncen Li, Robin Jia, He He, Percy Liang

此论文的作者来自腾讯微信搜索应用部和斯坦福大学

出处：NAACL 2018

论文主要相关： 文本风格迁移 

简评：

文本风格迁移的目标是在保持文本内容不变的情况下更改其语言风格。之前的相关工作多采用对抗训练的方式将文本的内容与风格剥离，从而学习隐式的内容和风格的表示以完成迁移，该方式训练时间长且难于训练。文中提出了一种更简单直接的方式，通过去掉输入句子x中的风格属性标识（attribute marker）获得无风格的内容文本c，即delete。在目标风格域中来检索出具有目标风格的与c语义相似句子xt，同时抽取出目标属性标识a，即retrieve。最终将内容和目标属性标识的向量表示传给RNN解码，从而生成目标风格的语句，即generate。文中主要创新在于采用delete和retrieve的方式获得显式的内容文本和目标风格属性标识，模型简单便于实现且取得了良好的实验结果。

论文链接：

https://arxiv.org/pdf/1804.06437.pdf

往期链接： 

点击文末“阅读原文”即可查看完整赛尔推荐目录

赛尔推荐 | 第17期

（情感分析、胶囊网络、Beam search、文本生成、生成式文档摘要和层次化注意力机制）

赛尔推荐 | 第16期

（机器翻译、自然语言生成、复述生成、语义分析）

赛尔推荐 | 第15期

（情感生成、情感分析、迁移学习、机器翻译双向解码）

赛尔推荐 | 第14期

（个性化任务型对话系统、文本生成、实体表示、文本蕴含识别、多选题科学问答、临床预测、可解释的预测和层次化注意力机制）

本期责任编辑：  刘一佳

本期编辑：  孙   卓

---

“哈工大SCIR”公众号

主编：车万翔

副主编： 张伟男，丁效

责任编辑： 张伟男，丁效，赵森栋，刘一佳

编辑： 李家琦，赵得志，赵怀鹏，吴洋，刘元兴，蔡碧波，孙卓

长按下图并点击 “识别图中二维码”，即可关注哈尔滨工业大学社会计算与信息检索研究中心微信公共号：”哈工大SCIR” 。