预告 | NIPS 2017线上分享：用于序列生成的推敲网络

编者按：上一期NIPS 2017优秀论文分享活动中，中国科学技术大学-微软联合培养博士生夏应策详细讲解了一篇关于神经机器翻译的NIPS入选论文。这次，应邀参加分享活动的是中山大学-微软亚洲研究院联合培养博士吴郦军，分享主题为“得句自斟酌：用于序列生成的推敲网络”。

活动日期：北京时间 11 月 30 日 20:00-21:00

演讲主题：得句自斟酌：用于序列生成的推敲网络

主讲人介绍

吴郦军，博士三年级，现就读于中山大学-微软亚洲研究院联合培养博士班，研究方向为机器学习、神经机器翻译、强化学习，目前在微软亚洲研究院机器学习组学习。

论文摘要

编码器-解码器框架在许多序列生成任务中都实现了非常好的性能，包括机器翻译、自动文本摘要、对话系统和图像描述等。这样的框架在解码和生成序列的过程中只采用一次（one-pass）正向传播过程，因此缺乏推敲（deliberation）的过程：即生成的序列直接作为最终的输出而没有进一步打磨的过程。然而推敲是人们在日常生活中的一种常见行为，正如我们在阅读新闻和写论文/文章/书籍一样。在该研究中，我们将推敲过程加入到了编码器-解码器框架中，并提出了用于序列生成的推敲网络（Deliberation networks）。推敲网络具有两阶段解码器，其中第一阶段解码器用于解码生成原始序列，第二阶段解码器通过推敲的过程打磨和润色原始语句。由于第二阶段推敲解码器具有应该生成什么样的语句这一全局信息，因此它能通过从第一阶段的原始语句中观察未来的单词而产生更好的序列。神经机器翻译和自动文本摘要的实验证明了我们所提出推敲网络的有效性。在 WMT 2014 英语到法语间的翻译任务中，我们的模型实现了 41.5 的 BLEU 分值，即当前最优的 BLEU 分值。

论文地址

http://papers.nips.cc/paper/6775-deliberation-networks-sequence-generation-beyond-one-pass-decoding.pdf 

参与方式

线上分享将在微软研究院AI头条读者群中进行。加群方式：长按扫描下方二维码加“微软亚洲研究院”为好友，备注暗号：NIPS，成功后将由小助手统一拉入群聊。

你也许还想看：

● 干货 | NIPS 2017线上分享：利用价值网络改进神经机器翻译

● 二十一世纪计算 | John Hopcroft：AI革命

● 大会|NIPS 2016：机器学习的盛典

感谢你关注“微软研究院AI头条”，我们期待你的留言和投稿，共建交流平台。来稿请寄：msraai@microsoft.com。