项目名称: 机器翻译中大规模异类特征的迁移学习

项目编号: No.61300115

项目类型: 青年科学基金项目

立项/批准年度: 2014

项目学科: 自动化技术、计算机技术

项目作者: 刘宇鹏

作者单位: 哈尔滨理工大学

项目金额: 23万元

中文摘要: 传统的机器翻译系统融合是提高级器翻译性能的一种重要手段,但是传统的融合模型并没有给出一体化模型的定义,同时也没有考虑机器翻译系统差异性给系统融合造成的影响和传统训练方法的局限性。本课题利用迁移学习的强大理论基础,从迁移学习中两个基本问题(任务和领域)出发,把造成差异性(异类特征)的原因分为异类机器翻译系统/异类标签系统(从任务角度出发)和异类语料(从领域出发),且采用了大规模特征训练算法,克服了传统训练方法对于特征数量的限制。本课题主要先进行一体化模型定义和效率的研究;对于异类机器翻译系统/标签系统,进行基于特征/参数大规模融合;对于异类语料训练通过公共特征的选择,把公共特征加入到融合前的机器翻译系统中来进行融合。而且对于异类机器翻译系统问题研究,能够更好的认识到每个类型机器翻译的优缺点;对于异类标签系统和异类语料的研究,能够更好的认识到异类标签系统和异类语料对于机器翻译系统的影响。

中文关键词: 迁移学习;异类特征;短语/规则嵌入;领域迁移;深度递归

英文摘要: Conventional system combination is an important way of improving machine translation performance, but it can't consider the basis reason of system diversity and training method, and conventional system combination doesn't give integration framework. According to two fundamental problems including task and domain, the reason of resulting in heterogeneous feature are heterogeneous labeling system/machine translation from task and heterogeneous training corpora from domain. We use online training as large-scale heterogeneous feature training method because minimum error rate training is sensitive to the feature number. The content of the subject is as follows: 1) research on the integration model of machine translation and pruning technique of the model; 2) transfer learning of heterogeneous machine translation/labeling system; 3) transfer learning of heterogeneous training corpora. The researches on heterogeneous machine translation obtain a better understanding of the advantages and disadvantages of each type of machine translation. The researches on heterogeneous labeling system and training corpora obtain a better understanding of their impact on machine translation system.

英文关键词: Transfer Learning;Heterogeneous Feature;Phrase/Rule Embedding;Domain Transfer;Deep Recursion

成为VIP会员查看完整内容
1

相关内容

迁移学习(Transfer Learning)是一种机器学习方法,是把一个领域(即源领域)的知识,迁移到另外一个领域(即目标领域),使得目标领域能够取得更好的学习效果。迁移学习(TL)是机器学习(ML)中的一个研究问题,着重于存储在解决一个问题时获得的知识并将其应用于另一个但相关的问题。例如,在学习识别汽车时获得的知识可以在尝试识别卡车时应用。尽管这两个领域之间的正式联系是有限的,但这一领域的研究与心理学文献关于学习转移的悠久历史有关。从实践的角度来看,为学习新任务而重用或转移先前学习的任务中的信息可能会显着提高强化学习代理的样本效率。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
79+阅读 · 2021年10月15日
专知会员服务
61+阅读 · 2021年8月4日
专知会员服务
62+阅读 · 2021年7月25日
专知会员服务
24+阅读 · 2021年6月17日
【AAAI2021】基于双任务一致性的半监督医学图像分割
专知会员服务
30+阅读 · 2021年2月7日
【IJCAI】大规模可扩展深度学习,82页ppt
专知会员服务
26+阅读 · 2021年1月10日
最新《深度强化学习中的迁移学习》综述论文
专知会员服务
153+阅读 · 2020年9月20日
专知会员服务
31+阅读 · 2020年9月2日
通用模型、全新框架,WavLM语音预训练模型全解
PaperWeekly
1+阅读 · 2021年12月24日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
图像检索研究进展:浅层、深层特征及特征融合
中国计算机学会
122+阅读 · 2018年3月26日
【迁移学习】简述迁移学习在深度学习中的应用
产业智能官
15+阅读 · 2018年1月9日
迁移学习在深度学习中的应用
专知
23+阅读 · 2017年12月24日
深度 | 迁移学习全面概述:从基本概念到相关研究
七月在线实验室
15+阅读 · 2017年8月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年4月15日
Arxiv
15+阅读 · 2020年2月5日
UNITER: Learning UNiversal Image-TExt Representations
Arxiv
23+阅读 · 2019年9月25日
小贴士
相关VIP内容
专知会员服务
79+阅读 · 2021年10月15日
专知会员服务
61+阅读 · 2021年8月4日
专知会员服务
62+阅读 · 2021年7月25日
专知会员服务
24+阅读 · 2021年6月17日
【AAAI2021】基于双任务一致性的半监督医学图像分割
专知会员服务
30+阅读 · 2021年2月7日
【IJCAI】大规模可扩展深度学习,82页ppt
专知会员服务
26+阅读 · 2021年1月10日
最新《深度强化学习中的迁移学习》综述论文
专知会员服务
153+阅读 · 2020年9月20日
专知会员服务
31+阅读 · 2020年9月2日
相关资讯
通用模型、全新框架,WavLM语音预训练模型全解
PaperWeekly
1+阅读 · 2021年12月24日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
图像检索研究进展:浅层、深层特征及特征融合
中国计算机学会
122+阅读 · 2018年3月26日
【迁移学习】简述迁移学习在深度学习中的应用
产业智能官
15+阅读 · 2018年1月9日
迁移学习在深度学习中的应用
专知
23+阅读 · 2017年12月24日
深度 | 迁移学习全面概述:从基本概念到相关研究
七月在线实验室
15+阅读 · 2017年8月15日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员