赛尔推荐 | 第1期

该栏目每周将推荐若干篇由师生精心挑选的前沿论文，分周三、周五两次推送。

1

推荐组：SA

推荐人：吴洋（研究方向：情感分析）

论文题目：Refining Word Embeddings for Sentiment Analysis

作者：Liang-Chih Yu, Jin Wang, K.Robert Lai and Xuejie Zhang

发表会议/期刊：ACL 2017

论文主要相关：词向量，情感分析

简评：这篇文章发表于ACL 2017。很多任务上都在使用预训练词向量，因为词向量中蕴含着语义信息。但词向量在情感分析任务上的使用存在一个问题，即由于词向量着重体现的是语义信息，导致对于一些语义相近而情感相反的词没有区分度，如bad与good。所以直接使用通用的预训练词向量可能会降低模型的效果。因此，我们需要使用带有情感信息的词向量。本文亮点在于仅仅使用情感词典，来迭代的调整预训练的词向量，使得在保证一定语义关系的情况下，语义相近，情感不同的两个词，距离更远；语义相近，情感相同的两个词，距离更近，从而得到既有语义信息还带有情感信息的词向量。

论文链接：

https://www.aclweb.org/anthology/D/D17/D17-1056.pdf

2

推荐组：SP

推荐人：段俊文（研究方向：文本挖掘） 

论文1题目：NEURAL SPEED READING VIA SKIM-RNNSKIP RNN

论文1作者：Minjoon Seo, Sewon Min, Ali Farhadi, Hannaneh Hajishirzi

论文2题目：LEARNING TO SKIP STATE UPDATES IN RECURRENT NEURAL NETWORKS

论文2作者：Victor Campos, Brendan Jou, Xavier Giro-i-Nieto, Jordi Torres, Shih-Fu Chang

这两篇论文的第一作者分别来自华盛顿大学和谷歌公司。

发表会议/期刊：ICLR 2018

论文主要相关：循环神经网络

简评：循环神经网络(RNN)是序列建模中的常用的模型，其不足包括计算效率不高，较长序列时可能出现梯度消失或者梯度爆炸的问题。推荐的两篇文章的思路比较类似，要解决的也是同样的问题，即在不影响准确率的前提下尽可能提高RNN的计算效率。两篇文章提出的方法分别叫skim-rnn和skip-rnn，从名字可以看出来，他们都是通过跳过某些输入，达到快速计算的目的。因此在计算的每一步都需要确定该输入是否被跳过。但是两篇处理的具体方式不同，如果该输入被跳过，skim-rnn用一个small rnn更新隐含状态的前若干维而skip—rnn则直接复制上一个隐含层的状态。两篇文章都表示自己的模型计算效率提升但是准确率保持不变或小有提升。这两篇文章提供了一些通过修改RNN结构达到快速计算的新的思路。

论文链接：

论文1：https://arxiv.org/pdf/1711.02085.pdf

论文2：https://arxiv.org/abs/1708.06834

代码：

论文1：https://github.com/imatge-upc/skiprnn-2017-telecombcn

论文2：https://github.com/schelotto/Neural_Speed_Reading_via_Skim-RNN_PyTorch

3

推荐组：TG

推荐人：冯掌印（研究方向：文本生成）

论文题目：Selective Encoding for Abstractive Sentence Summarization

作者：Qingyu Zhou, Nan Yang, Furu Wei, Ming Zhou

发表会议/期刊: ACL 2017

论文主要相关：sequence-to-sequence、选择机制、摘要生成

简评：这是一篇发表于ACL 2017的论文，作者认为生成摘要和机器翻译有明显的不同，机器翻译需要保留所有信息而生成摘要只需要保留部分重要信息，生成摘要应该分为三个步骤：对句子进行编码、选择重要信息和解码。因此在传统的sequence-to-sequence框架下，作者加入了选择机制，利用该选择机制，对Encoder产生的表示进行过滤，只保留重要信息，然后Decoder利用过滤后的表示进行解码，得到最终的摘要。在多个数据集下对比了该模型与以往模型，实验做得很充分，文章也对选择机制的有效性进行了说明。

论文链接：

https://aclweb.org/anthology/P/P17/P17-1101.pdf

往期链接：

赛尔推荐 | 第0期

本期责任编辑：  赵森栋

本期编辑：  孙   卓

---

“哈工大SCIR”公众号

主编：车万翔

副主编： 张伟男，丁效

责任编辑： 张伟男，丁效，赵森栋，刘一佳

编辑： 李家琦，赵得志，赵怀鹏，吴洋，刘元兴，蔡碧波，孙卓

长按下图并点击 “识别图中二维码”，即可关注哈尔滨工业大学社会计算与信息检索研究中心微信公共号：”哈工大SCIR” 。