SFFAI 37 报名通知 | 机器翻译专场之同步双向与多语言机器翻译

会员服务 ·

SFFAI 37 报名通知 | 机器翻译专场之同步双向与多语言机器翻译

2019 年 6 月 25 日 人工智能前沿讲习班

关注文章公众号

回复"SFFAI37论文"获取本主题精选论文

SFFAI报名通知

论坛主题

机器翻译专场之同步双向与多语言机器翻译

召集人

马聪，中国科学院大学人工智能学院硕博连读生，研究兴趣为自然语言处理、机器翻译、多模态信息处理等。

论坛讲者

王亦宁，中国科学院自动化研究所模式识别国家重点实验室16级博士生。目前研究兴趣为低资源和多语言机器翻译。博士期间在ACL，EMNLP，IJCNLP等国际会议上发表多篇论文。

题目：Multilingual Neural Machine Translation

摘要：随着神经网络机器翻译的快速发展，为了实现多语言之间的相互翻译，通常需要构建多个一对一的翻译模型。一方面每个翻译模型需要大规模存储和计算资源，从而多语言翻译的存储和计算消耗非常巨大；另一方面多语言翻译在独立模型下无法实现知识共享。近年来，使用一套框架解决多语言机器翻译任务受到人们越来越多的关注。多语言机器翻译不仅可以有效的解决资源消耗和知识共享问题，同时由于参与翻译语言对的扩充，对于低资源和零资源翻译任务上有了一定程度的提升。本次报告将回顾过去一年多里多语言机器翻译的相关工作，并分享我们在ACL2019上提出的一种结构紧凑且语言敏感的多语言机器翻译方法。

Spotlight:

多语言神经机器翻译方法介绍；
多语言机器翻译在低资源和零资源上面的应用；
语言相关的模块对多语言翻译的影响。

周龙，中科院自动化所模式识别国家重点实验室在读博士生。研究方向为自然语言处理，机器翻译，自动文摘，自然语言生成等。在国际著名期刊和会议TACL、ACL、IJCAI等发表论文数篇，曾获国际自然语言处理与中文计算会议NLPCC 2017最佳论文奖。

题目：同步双向文本生成（Synchronous Bidirectional Text Generation）

摘要：基于编码器-解码器框架的序列生成模型已经在神经机器翻译，自动摘要，语音识别，图像描述等文本生成任务上取得了显著的效果。现有的文本生成模型通常采用从左到右的方式依次生成输出序列。然而，这种单向解码框架不能充分利用从右向左解码方向产生的目标语言侧的未来上下文信息，因此存在不平衡输出的问题。基于此，我们提出了一种同步双向文本生成模型。该模型使用从左到右和从右到左的解码同时交互地预测其输出，以便同时利用历史和未来的信息。同步双向神经机器翻译模型在汉语到英语和英语到德语翻译任务上获得了当前最好的性能。此外，我们最近进一步实现了一个计算机不太容易实现人类肯定无法完成的事情：同时正向生成和反向生成，到中间点结束！该算法应用于机器翻译和自动摘要，不仅显著提升了文本生成的效率，还改善了生成文本的质量。

Spotlight:

提出了一种新颖的同步双向文本生成方法；
实现了一个奇妙的事情：同时顺着说和倒着说一句话，到中间点结束；
算法在机器翻译，自动摘要等序列产生任务上取得了显著的效果。

论文推荐

机器翻译一直是自然语言处理中的重要研究任务，而最近的几个月自然语言处理领域尤其在文本生成、机器翻译领域又有新的突破不断提出！SFFAI37的两位讲者，讲者周龙将分享双向同步文本生成，可以快速高效的实现文本生成，讲者王亦宁将介绍多语言翻译部分的工作，来进一步提高机器翻译的性能。最新自然语言处理进展，快来一起和讲者探讨一下吧～

一

推荐理由：这篇文章发表于EMNLP2018，提出了三种不同的策略提升多语言翻译质量。该工作主要对于不同语言的特性设计了三种不同的策略，改进了多语言翻译框架来提升多语言神经翻译模型的翻译质量。其主要思想在于针对不同的语言提出了特有的模块，从而在训练和解码过程中对不同的翻译任务加以区分。该工作主要在大规模的一到多数据集上进行的验证，其结果表明这三种策略对于多语言翻译任务是有效且互补的。

—— 王亦宁

二

推荐理由：该工作是CMU团队发表于WMT2018的文章，其思路与我们EMNLP2018的工作非常类似。该工作将基于Transformer的多语言翻译模型进行了分解。最终在一对多的实验结果表明，当目标语言较为相似的情况下，将编码器和解码器的全部参数进行共享能取得最好的翻译性能，而目标语言相差较大的情况下，仅共享编码器和解码器的自注意力机制和注意力机制的K，Q矩阵，能得到最好的翻译质量。

—— 王亦宁

三

推荐理由：该文章发表于2019年的ICLR，在多语言翻译任务上应用了知识蒸馏的技术。该工作把仅依赖双语平行数据得到的模型当作teacher模型，把多语言翻译模型认为是student模型。在训练多语言翻译模型中，teacher模型规范并指导student模型的生成，从而得到更优的翻译质量。该工作在WMT和IWSLT数据集上都有了一定的提升，证明了知识蒸馏技术在多语言翻译任务上有效性。

—— 王亦宁

四

推荐理由：该文章同样发表于2019年的ICLR，不同于之前的工作，其主要在词级别的表示层上对多语言翻译进行重新设计。该工作提出了一种软解耦的编码方式，这种编码方式可以认为是词语表示和词语内在含义的一个结合，实验结果表明这种软解耦的编码方式在多语言翻译任务上优于传统基于亚词的编码方式，在翻译质量上有了显著的提升。

—— 王亦宁

五

推荐理由: 该文章发表于2019年的NAACL，其主要分析了零资源翻译任务在多语言翻译任务中的应用。该工作首先分析了在零资源翻译任务中通常会出现的语种预测错误的情况，统计结果表明仅有60%的情况下，能对语种正确预测。针对这一现状，该工作提出了两种不同的方法使得Encoder的表征具备语言不变性，更好的表征句子内在的含义。实验结果表明，该方法在保证多语言翻译任务结果基本不变的前提下，对于零资源翻译的情况帮助很大，有了极大程度的提升。

—— 王亦宁

六

推荐理由: 继循环神经网络，卷积神经网络之后，谷歌在2017年提出的基于自注意力机制的Transformer模型成为了当前机器翻译领域的主流架构。该模型可以高度并行地工作，所以在提升翻译性能的同时训练速度也特别快，同时也在自然语言处理的其他领域取得了非凡的效果。

—— 周龙

七

推荐理由: 最近谷歌研究人员通过新的BERT模型在11项NLP任务中夺得STOA结果，这在自然语言处理学界以及工业界都引起了不小的热议。作者通过在33亿文本的语料上训练语言模型，再分别在不同的下游任务上微调，这个双向的Transformer模型在不同的任务均得到了目前为止最好的结果。

—— 周龙

八

推荐理由: 和推敲网络（Deliberation Networks）的架构类似，本文也采用了二遍解码的思想。不同的是，本文在传统的编码器-解码器框架上，添加了一个反向的解码器，负责第一遍解码时从右向左的生成目标语言。该方法可以较有效地利用神经机器翻译双向解码的优势。

—— 周龙

九

推荐理由: 以往的NMT模型都是采用的自回归（autoregressive）的方式进行推理预测，也即模型每次基于之前生成的词去生成序列中的下一个词。但其解码速度严重依赖于目标语言长度，无法进行并行计算。这篇论文提出一种非自回归（non-autoregressive）的方式来生成翻译结果，在翻译时能够并行地输出整个句子结果。

—— 周龙

报名须知

时间

2019年6月30日（周日）

14:00 -- 16:00

地点

中国科学院自动化研究所智能化大厦三层一会议室

报名方式

点击下方原文链接 或扫描二维码报名

活动名额/注意事项

1、为确保小范围深入交流，本次活动名额有限（不收取任何费用）；

2、活动采取审核制报名，我们将根据用户研究方向与当期主题的契合度进行筛选，通过审核的用户将收到确认邮件；

3、如您无法按时到场参与活动，请于活动开始前 24 小时在AIDL微信公众号后台留言告知，留言格式为放弃报名 + 报名电话。无故缺席者，将不再享有后续活动的报名资格。

4、审核制绿色通道，添加小助手微信（下方二维码），可优先通过审核，并拉您进入本次活动交流群。

小助手微信号

SFFAI招募召集人！

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI自2018年9月16日举办第一期线下交流，每周一期，风雨无阻，截至目前已举办35期线下交流活动，共有67位讲者分享了他们的真知灼见，来自100多家单位的同学参与了现场交流，通过线上推文、网络直播等形式，50000+人次参与了SFFAI的活动。SFFAI已经成为人工智能学生交流的第一品牌，有一群志同道合的研究生Core-Member伙伴，有一批乐于分享的SPEAKER伙伴，还有许多认可活动价值、多次报名参加现场交流的观众。

我们邀请你一起来组织SFFAI主题论坛，加入SFFAI召集人团队。每个召集人负责1-2期SFFAI主题论坛的组织筹划，我们有一个SFFAI-CORE团队来支持你。一个人付出力所能及，创造一个一己之力不可及的自由丰盛。你带着你的思想，带着你的个性，来组织你感兴趣的SFFAI主题论坛。

当召集人有什么好处？

谁可以当召集人？

怎样才能成为召集人？

为什么要当召集人？

了解我们，加入我们，请点击下方海报！