题目: A Comprehensive Survey of Multilingual Neural Machine Translation

摘要: 本文综述了近年来备受关注的多语言神经机器翻译(MNMT)。由于翻译知识的转移(迁移学习),MNMT在提高翻译质量方面发挥了重要作用。MNMT比统计机器翻译更有前途,也更有趣,因为端到端建模和分布式表示为机器翻译的研究开辟了新途径。为了利用多语言并行语料库来提高翻译质量,人们提出了许多方法。但是,由于缺乏全面的综述,很难确定哪些方法是有希望的,因此值得进一步探讨。在这篇论文中,我们对现有的关于MNMT的文献进行了深入的综述。我们首先根据中心用例对各种方法进行分类,然后根据资源场景、基础建模原则、核心问题和挑战对它们进行进一步分类。只要有可能,我们就通过相互比较来解决几种技术的优缺点。我们还讨论了未来的方向,跨国公司的研究可能采取。本文的目标读者既有初学者,也有专家。我们希望这篇论文能够作为一个起点,同时也为那些对MNMT感兴趣的研究人员和工程师提供新的思路。

成为VIP会员查看完整内容
0
12

相关内容

机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

主题: A Review on Deep Learning Techniques for Video Prediction

摘要: 预测,预期和推理未来结果的能力是智能决策系统的关键组成部分。鉴于深度学习在计算机视觉中的成功,基于深度学习的视频预测已成为有前途的研究方向。视频预测被定义为一种自我监督的学习任务,它代表了一个表示学习的合适框架,因为它展示了提取自然视频中潜在模式的有意义的表示的潜在能力。视频序列预测的深度学习方法。我们首先定义视频预测的基础知识,以及强制性的背景概念和最常用的数据集。接下来,我们会仔细分析根据拟议的分类法组织的现有视频预测模型,突出显示它们的贡献及其在该领域的意义。数据集和方法的摘要均附有实验结果,有助于在定量基础上评估现有技术。通过得出一些一般性结论,确定开放研究挑战并指出未来的研究方向来对本文进行总结。

成为VIP会员查看完整内容
0
41

题目

Pre-trained Models for Natural Language Processing: A Survey

关键词

预训练语言模型,深度学习,自然语言处理,BERT,Transfomer,人工智能

简介

最近,预训练模型(PTM)的出现将自然语言处理(NLP)带入了一个新时代。 在此调查中,我们提供了针对NLP的PTM的全面概述。 我们首先简要介绍语言表示学习及其研究进展。 然后,我们基于分类从四个角度对现有PTM进行系统分类。 接下来,我们描述如何使PTM的知识适应下游任务。 最后,我们概述了PTM未来研究的一些潜在方向。该调查旨在作为实践指南,帮助您理解,使用和开发适用于各种NLP任务的PTM。

作者

Xipeng Qiu, Tianxiang Sun, Yige Xu, Yunfan Shao, Ning Dai ,Xuanjing Huang

译者

专知成员,范志广

成为VIP会员查看完整内容
Pre-trained Models for Natural Language Processing A Survey.pdf
0
78

本文介绍了一阶优化方法及其在机器学习中的应用。这不是一门关于机器学习的课程(特别是它不涉及建模和统计方面的考虑),它侧重于使用和分析可以扩展到具有大量参数的大型数据集和模型的廉价方法。这些方法都是围绕“梯度下降”的概念而变化的,因此梯度的计算起着主要的作用。本课程包括最优化问题的基本理论性质(特别是凸分析和一阶微分学)、梯度下降法、随机梯度法、自动微分、浅层和深层网络。

成为VIP会员查看完整内容
0
85

题目: A Comprehensive Survey of Multilingual Neural Machine Translation

摘要:

本文对近年来备受关注的多语言神经机器翻译进行了综述。由于翻译知识的迁移(迁移学习),MNMT在提高翻译质量方面发挥了重要作用。MNMT比统计机器翻译更有前途,也更有趣,因为端到端建模和分布式表示为机器翻译的研究开辟了新途径。为了利用多语言并行语料库来提高翻译质量,人们提出了许多方法。但是,由于缺乏全面的调查,很难确定哪些方法是有希望的,因此值得进一步探讨。在这篇论文中,我们对现有的关于MNMT的文献进行了深入的综述。我们首先根据中心用例对各种方法进行分类,然后根据资源场景、基础建模原则、核心问题和挑战对它们进行进一步分类。只要有可能,我们就通过相互比较来解决几种技术的优缺点。我们还讨论了未来的方向,跨国公司的研究可能采取。本文的目标读者既有初学者,也有专家。我们希望这篇论文能够作为一个起点,同时也为那些对MNMT感兴趣的研究人员和工程师提供新的思路。

作者简介:

Raj Dabre,目前在日本NICT做博士后研究。在京都大学完成了博士学位。现在做机器翻译方面的研究,对机器翻译的深度学习方法很感兴趣。主要研究方向:人工智能、机器翻译、自然语言处理、遗传学。个人主页:https://prajdabre.wixsite.com/prajdabre

成为VIP会员查看完整内容
0
15

题目: Neural Machine Translation: A Review

简介: 机器翻译(MT)是将书面文本从一种自然语言自动翻译成另一种自然语言,近年来,机器翻译领域经历了一次重大的范式转变。统计机器翻译主要依赖于各种基于计数的模型,在过去几十年中一直主导机器翻译的研究,但现在它已在很大程度上被神经机器翻译(NMT)所取代。在这项工作中,我们将追溯现代NMT架构的起源到词和句子嵌入和早期的例子的编码器-解码器网络家族。最后,我们将对该领域的最新趋势进行调查。

成为VIP会员查看完整内容
Neural Machine Translation_ A Review.pdf
0
30

题目: Deep Learning for Visual Tracking: A Comprehensive Survey

简介: 视觉目标跟踪是计算机视觉领域中最受关注和最具挑战性的研究课题之一。考虑到这个问题的不适定性质及其在现实世界中广泛应用的情况,已经建立了大量的大型基准数据集,在这些数据集上已经开发了相当多的方法,并在近年来取得了显著进展——主要是最近基于深度学习(DL)的方法。这项综述的目的是系统地调查当前基于深度学习的视觉跟踪方法、基准数据集和评估指标。它也广泛地评价和分析领先的视觉跟踪方法。首先,从网络体系结构、网络利用、视觉跟踪网络训练、网络目标、网络输出、相关滤波优势利用六个关键方面,总结了基于dll的方法的基本特征、主要动机和贡献。其次,比较了常用的视觉跟踪基准及其各自的性能,总结了它们的评价指标。第三,在OTB2013、OTB2015、VOT2018和LaSOT等一系列成熟的基准上,全面检查最先进的基于dll的方法。最后,通过对这些最先进的方法进行定量和定性的批判性分析,研究它们在各种常见场景下的优缺点。它可以作为一个温和的使用指南,让从业者在什么时候、在什么条件下选择哪种方法。它还促进了对正在进行的问题的讨论,并为有希望的研究方向带来光明。

成为VIP会员查看完整内容
Deep_Learning_for_Visual_Tracking.pdf
0
44

题目: Neural Machine Reading Comprehension:Methods and Trends

摘要: 近年来,随着深度学习的出现,要求机器根据给定的语境回答问题的机器阅读理解(MRC)越来越受到广泛的关注。虽然基于深度学习的MRC研究方兴未艾,但目前还缺乏一篇全面的综述文章来总结本文提出的方法和近期的发展趋势。因此,我们对这一有希望的领域的最新研究工作进行了全面的综述。具体来说,我们比较了不同维度的MRC任务,并介绍了其总体架构。我们进一步提供了流行模型中使用的最新方法的分类。最后,我们讨论了一些新的趋势,并通过描述该领域的一些开放性问题得出结论。

下载链接: https://arxiv.org/pdf/1907.01118v2.pdf

成为VIP会员查看完整内容
0
35

论文题目: Blockchain for Future Smart Grid: A Comprehensive Survey

论文摘要: 智能电网的概念已被引入,作为常规电网的新视野,以寻求一种整合绿色和可再生能源技术的有效方法。通过这种方式,连接互联网的智能电网(也称为能源互联网)也正在作为一种创新的方法出现,以确保随时随地的能源供应。这些发展的最终目标是建立一个可持续发展的社会。但是,对于传统的集中式网格系统而言,集成和协调大量不断增长的连接可能是一个具有挑战性的问题。因此,智能电网正在从其集中形式转变为分散式拓扑。另一方面,区块链具有一些出色的功能,使其成为智能电网范例的有前途的应用程序。本文旨在对区块链在智能电网中的应用进行全面的调查。因此,我们确定了可以通过区块链解决的智能电网场景的重大安全挑战。然后,我们提出了许多基于区块链的最新研究成果,这些研究成果发表在不同的文献中,涉及智能电网领域的安全问题。我们还总结了最近出现的几个相关的实用项目,试验和产品。最后,我们讨论了将区块链应用于智能电网安全问题的基本研究挑战和未来方向。

成为VIP会员查看完整内容
0
25

论文摘要:迁移学习的目的是通过迁移包含在不同但相关的源域中的知识来提高目标学习者在目标域中的学习性能。这样可以减少对大量目标域数据的依赖,从而构建目标学习者。由于其广泛的应用前景,转移学习已经成为机器学习中一个热门和有前途的领域。虽然已经有一些关于迁移学习的有价值的和令人印象深刻的综述,但这些综述介绍的方法相对孤立,缺乏迁移学习的最新进展。随着迁移学习领域的迅速扩大,对相关研究进行全面的回顾既有必要也有挑战。本研究试图将已有的迁移学习研究进行梳理和梳理,并对迁移学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。与以往的研究不同,本文从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述。简要介绍了迁移学习的应用。为了展示不同迁移学习模型的性能,我们使用了20个有代表性的迁移学习模型进行实验。这些模型是在三个不同的数据集上执行的,即,亚马逊评论,路透社-21578,Office-31。实验结果表明,在实际应用中选择合适的迁移学习模型是非常重要的。

关键词:迁移学习 机器学习 域适应 可解释性

成为VIP会员查看完整内容
0
65
小贴士
相关VIP内容
相关论文
A Comprehensive Survey on Transfer Learning
Fuzhen Zhuang,Zhiyuan Qi,Keyu Duan,Dongbo Xi,Yongchun Zhu,Hengshu Zhu,Hui Xiong,Qing He
91+阅读 · 2019年11月7日
A Comprehensive Survey on Graph Neural Networks
Zonghan Wu,Shirui Pan,Fengwen Chen,Guodong Long,Chengqi Zhang,Philip S. Yu
10+阅读 · 2019年3月10日
Claudio Gambella,Bissan Ghaddar,Joe Naoum-Sawaya
10+阅读 · 2019年1月16日
Yuta Nishimura,Katsuhito Sudoh,Graham Neubig,Satoshi Nakamura
4+阅读 · 2018年6月7日
Felix Hieber,Tobias Domhan,Michael Denkowski,David Vilar,Artem Sokolov,Ann Clifton,Matt Post
7+阅读 · 2018年6月1日
Chenhui Chu,Rui Wang
13+阅读 · 2018年6月1日
Ke Tran,Yonatan Bisk
3+阅读 · 2018年5月28日
Philip Schulz,Wilker Aziz,Trevor Cohn
5+阅读 · 2018年5月28日
Zhirui Zhang,Shujie Liu,Mu Li,Ming Zhou,Enhong Chen
4+阅读 · 2018年3月1日
Mikel Artetxe,Gorka Labaka,Eneko Agirre,Kyunghyun Cho
6+阅读 · 2018年2月26日
Top
微信扫码咨询专知VIP会员