微信AI夺冠WMT2020国际机器翻译大赛中英方向

2020 年 7 月 8 日 微信AI

微信AI又拿了个第一,这次是在翻译领域。没错,就是你日常看到的那个微信翻译



近日,WMT2020国际机器翻译大赛的榜单停止提交结果并发布排名,在竞争最为激烈的「中文-英文」翻译任务上, 腾讯微信AI团队提交的结果BLEU评分第一,夺得冠军。


国际顶级赛事

微信AI从近300份数据中脱颖而出


WMT是机器翻译领域的国际顶级评测比赛之一,自2006年创办至今,每年都吸引了众多来自全球的企业、科研机构和高校所组成的顶尖团队,包括微软、Facebook、百度、金山、日本情报通信研究机构(NICT)等。

在赛制上,组委会根据中英、英中、中日等不同翻译任务提供测试集,参赛者在线提交机器翻译结果,组委会将根据在国际上具有广泛认可度的BLEU自动评估指标对参赛者提交的机器译文和标准答案进行拟合计算,拟合程度高者排在前面。

其中,「中文-英文」翻译任务是大赛历年来竞争最激烈的领域,也是最大的看点之一。今年,「中文-英文」翻译任务竞争激烈,各参赛方共计提交近300次数据,最终微信AI团队经过多次角逐脱颖而出,成功占据自动评估指标的榜首,斩获桂冠。值得一提的是,BLEU评分前两名的机器译文 均由微信AI团队提交。同时,今年微信AI仅使用了官方提供的数据(也就是受限资源),超过了所有使用受限资源和无限资源的系统。


在本次大赛上,微信翻译在技术上以更深和更宽的Transformer结构(包括Self-attention和Average-attention)和自研的Deep Transition结构(DTMT)为基础,利用融合领域内知识的数据增强方法迭代生成高质量的伪数据, 设计Self-Bleu的组合剪枝策略集成模型并利用集成模型的知识蒸馏单模型。除了常规的交叉熵训练,还采用三种改进的训练方法来缓解偏差问题,包括改进的Scheduled Sampling训练方法、针对目标端输入的抗噪训练和更稳定的最小化贝叶斯风险训练。

深耕人工智能领域

微信AI技术落地更多场景


自2017年以来,基于业界最前沿的神经网络机器翻译技术,微信AI团队打造了微信翻译引擎并进行了持续迭代,引入了最前沿的机器翻译算法,不断创新算法和架构,提升翻译能力。

目前,微信翻译已成为一个 日翻译数十亿字符的大型多语言机器翻译引擎,支持多语种间的双向翻译,在翻译质量上均达到业界领先水平。服务场景已涵盖 微信对话翻译、朋友圈翻译、微信扫一扫等,同时还为 腾讯小微、微信对话开放平台、微信读书、QQ邮箱等提供翻译服务支持,后续会陆续运用于更多的场景。

除了在智能翻译领域取得优秀成绩外,微信AI团队在其他领域也取得了一些成绩。


自然语言处理

微信AI团队在2018、2019年蝉联了DSTC冠军,还在2019年获得RACE中高考题榜单第一名、DROP数学推理榜单第一名和QuAC多轮交互推理榜单第一名。

在自然语言处理领域顶级会议ACL 2019中,由中科院计算所和微信AI等团队合作的文章“Bridging the Gap between Training and Inference for Neural Machine Translation”,获得了最佳长论文奖项(Best Long Paper),这也是 中国大陆第一篇获此奖项的文章

随后,在ACL 2020中,微信AI团队亦有7篇论文入选,覆盖机器翻译、信息抽取、对话系统等领域研究成果。两年来,微信AI团队已有 16篇论文入选ACL


技术开源

微信AI开发自研并开源了TurboTransfromers推理引擎,这也是 腾讯对外开源的第100个项目。该推理引擎在CPU/GPU两种硬件平台上都可以获得最佳性能表现,速度快于pytorch/tensorflow和目前主流Transformers加速方案,且更适合NLP任务特点,无需图层次预处理,支持变长输入序列输入。TurboTransfromers在腾讯内部的游戏、内容生态、广告与金融等领域获得了广泛使用和认可。



技术应用

基于深度学习研发的微信智聆语音识别技术,每天处理 超过4亿条语音,语音识别 正确率达到97%,并在微信语音输入、语音转文字、王者荣耀、QQ音乐等产品中提供了技术支持。

而专注智能对话和NLP的微信智言,则以腾讯小微开放能力为核心,为 家居硬件、PaaS、行业云和AI Bot等领域提供技术支持,让人与机器以最自然、最便捷的方式交流沟通。

 微信AI 

不描摹技术的酷炫,不依赖拟人的形态,微信AI是什么?是悄无声息却无处不在,是用技术创造更高效率,是更懂你。


微信AI关注语音识别与合成、自然语言处理、计算机视觉、工业级推荐系统等领域,成果对内应用于微信翻译、微信视频号、微信看一看等业务,对外服务王者荣耀、QQ音乐等产品。


登录查看更多
0

相关内容

机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
TPAMI 2022|华为诺亚最新视觉Transformer综述
专知会员服务
55+阅读 · 2022年2月24日
【2021新书稿】在线凸优化导论(第二版),260页pdf
专知会员服务
71+阅读 · 2021年12月23日
专知会员服务
80+阅读 · 2021年10月15日
专知会员服务
62+阅读 · 2021年10月14日
RLChina强化学习课程,国内众大牛讲解,(附课件pdf下载)
知识增强的文本生成研究进展
专知会员服务
98+阅读 · 2021年3月6日
自然语言处理顶会COLING2020最佳论文出炉!
专知会员服务
23+阅读 · 2020年12月12日
专知会员服务
26+阅读 · 2020年9月9日
WMT 2021冠军来了!重建巴别塔之多语言翻译模型
微软研究院AI头条
1+阅读 · 2021年12月22日
机器翻译,能有多热血?
微信AI
0+阅读 · 2021年11月5日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
21+阅读 · 2018年5月23日
VIP会员
相关VIP内容
TPAMI 2022|华为诺亚最新视觉Transformer综述
专知会员服务
55+阅读 · 2022年2月24日
【2021新书稿】在线凸优化导论(第二版),260页pdf
专知会员服务
71+阅读 · 2021年12月23日
专知会员服务
80+阅读 · 2021年10月15日
专知会员服务
62+阅读 · 2021年10月14日
RLChina强化学习课程,国内众大牛讲解,(附课件pdf下载)
知识增强的文本生成研究进展
专知会员服务
98+阅读 · 2021年3月6日
自然语言处理顶会COLING2020最佳论文出炉!
专知会员服务
23+阅读 · 2020年12月12日
专知会员服务
26+阅读 · 2020年9月9日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员