赛尔推荐 | 第2期

该栏目每周将推荐若干篇由师生精心挑选的前沿论文，分周三、周五两次推送。

本次推荐了关于对话系统自动评价、优化器、复述生成和神经机器翻译的四篇论文。

1

推荐组：CR

推荐人：张杨子（研究方向：人机对话评价，自然语言处理）

论文题目：RUBER: An Unsupervised Method for Automatic Evaluation of Open-Domain Dialog Systems

作者：Chongyang Tao, Lili Mou, Dongyan Zhao, Rui Yan

出处：AAAI 2018

论文主要相关：对话系统自动评价；开放域人机对话

简评：开放域对话系统近来受到了广泛关注，然而并没有一个针对开放域对话系统的标准评价方法。之前的工作都是通过人工评分对模型效果进行评估，但这种方法耗时耗力。因此这篇论文介绍了一种针对开放域对话系统的自动评价方法，通过对query和reply进行联合评价，通过模型训练得到评价矩阵，达到对开放域对话系统自动评价的目的。由于在训练过程中不需要标注数据和人工评价，RUBER可以扩展移植到不同的语言和数据集上。实验结果也显示RUBER在开放域对话评价质量上优于目前已有的BLEU等方法，且与人工评价结果有较高的相关性。

论文链接：

https://arxiv.org/abs/1701.03079

2

推荐组：LA 

推荐人：赵怀鹏（研究方向：抽取式摘要）

论文题目：ON THE CONVERGENCE OF ADAM AND BEYOND

作者：Sashank J. Reddi, Satyen Kale & Sanjiv Kumar

出处：ICLR 2018

论文主要相关：优化器

简评：在ICLR 2018投稿论文中上有两篇关于Adam算法改进的论文备受关注。第一篇论文是Fixing Weight Decay Regularization in Adam，这篇文章提出改进的Adam算法解耦(decouple)了学习率和weight decay，使得这两者在寻找局部最优解时互不干扰。第二篇文章是ICLR 2018的高分论文ON THE CONVERGENCE OF ADAM AND BEYOND，该文指出了目前使用梯度的指数滑动平均值(exponential moving averages)的优化算法(Adadelta，Adam等)在某些情况存在不收敛的问题，并且该文提出了一种改进的Adam算法：AMSGrad，并证明了算法的收敛性。AMSGrad在CIFARNET上取得了比Adam更好的效果，并且收敛速度也更快。

论文链接：

https://openreview.net/pdf?id=ryQu7f-RZ

3

推荐组：QA 

推荐人：颜欣（研究方向：复述抽取）

论文题目：Learning to Paraphrase for Question Answering

作者：Li Dong, Jonathan Mallinson, Siva Reddy and Mirella Lapata

出处：EMNLP 2017

论文主要相关：复述生成，问答系统

简评：这是一篇发表在EMNLP2017上的文章。传统的问答模型，一般是通过知识问答库搜索，或者是给定一个问句以及一些相关的材料进行答案句抽取。这样单一的问答模型效果很有限。该文章在传统问答系统的基础上，增加原始问句的复述作为输入，通过QA model，计算出答案基于各个问句复述的概率分布；利用paraphrase Scoring model， 计算出各个问句复述基于原始问题的复述得分，两个模型结果结合起来，计算出答案基于原始问题的概率分布，从而得到最佳的问题答案。该系统的亮点在于不只是利用单一的问句进行答案查找。而是结合该问句以及其多个复述问句联合进行查找。建立相应的评分机制，最终得到多个候选答案的不同得分，并获取最优答案。

论文链接：

https://arxiv.org/abs/1708.06022

4

推荐组：RC

推荐人：孙一博（研究方向：文本挖掘）

论文题目：Achieving Human Parity on Automatic Chinese to English News Translation

作者：Hany Hassan, Anthony Aue, Chang Chen, Vishal Chowdhary, Jonathan Clark, Christian Federmann, Xuedong Huang, Marcin Junczys-Dowmunt, William Lewis, Mu Li, Shujie Liu, Tie-Yan Liu, Renqian Luo, Arul Menezes, Tao Qin, Frank Seide, Xu Tan, Fei Tian, Lijun Wu, Shuangzhi Wu, Yingce Xia, Dongdong Zhang, Zhirui Zhang, and Ming Zhou

出处：arXiv

论文主要相关：NMT

简评：为了直观的评价现有机器翻译系统的水平，本文提出了Human Parity的定义。本文汇集了微软近期在机器翻译领域的一系列工作，包括dual learning、Deliberation Networks等模型。同时也提出了关于清洗训练数据的方法。最终用于评测的系统是本文提出的几个模型的融合，此系统在WNT2017中译英数据集上取得了当前最佳结果。

论文链接：

https://arxiv.org/pdf/1803.05567.pdf

往期链接：

赛尔推荐 | 第1期

（词向量，情感分析，循环神经网络，sequence-to-sequence模型、选择机制和摘要生成）

赛尔推荐 | 第0期 

（人机对话，神经网络模型，知识工程，自然语言推理，基于文档集的问答，sequence-to-sequence模型，预测的可解释性和机器翻译）

本期责任编辑：  赵森栋

本期编辑：  刘元兴

---

“哈工大SCIR”公众号

主编：车万翔

副主编： 张伟男，丁效

责任编辑： 张伟男，丁效，赵森栋，刘一佳

编辑： 李家琦，赵得志，赵怀鹏，吴洋，刘元兴，蔡碧波，孙卓

长按下图并点击 “识别图中二维码”，即可关注哈尔滨工业大学社会计算与信息检索研究中心微信公共号：”哈工大SCIR” 。