随着图像处理,语音识别等人工智能技术的发展,很多学习方法尤其是采用深度学习框架的方法取得了优异的性能,在精度和速度方面有了很大的提升,但随之带来的问题也很明显,这些学习方法如果要获得稳定的学习效果,往往需要使用数量庞大的标注数据进行充分训练,否则就会出现欠拟合的情况而导致学习性能的下降。因此,随着任务复杂程度和数据规模的增加,对人工标注数据的数量和质量也提出了更高的要求,造成了标注成本和难度的增大。同时,单一任务的独立学习往往忽略了来自其他任务的经验信息,致使训练冗余重复因而导致了学习资源的浪费,也限制了其性能的提升。为了缓解这些问题,属于迁移学习范畴的多任务学习方法逐渐引起了研究者的重视。与单任务学习只使用单个任务的样本信息不同,多任务学习假设不同任务数据分布之间存在一定的相似性,在此基础上通过共同训练和优化建立任务之间的联系。这种训练模式充分促进任务之间的信息交换并达到了相互学习的目的,尤其是在各自任务样本容量有限的条件下,各个任务可以从其它任务获得一定的启发,借助于学习过程中的信息迁移能间接利用其它任务的数据,从而缓解了对大量标注数据的依赖,也达到了提升各自任务学习性能的目的。在此背景之下,本文首先介绍了相关任务的概念,并按照功能的不同对相关任务的类型进行划分后再对它们的特点进行逐一描述。然后,本文按照数据处理模式和任务关系建模过程的不同将当前的主流算法划分为两大类:结构化多任务学习算法和深度多任务学习算法。其中,结构化多任务学习算法采用线性模型,可以直接针对数据进行结构假设并且使用原有标注特征表述任务关系,同时,又可根据学习对象的不同将其细分为基于任务层面和基于特征层面两种不同结构,每种结构有判别式方法和生成式方法两种实现手段。与结构化多任务学习算法的建模过程不同,深度多任务学习算法利用经过多层特征抽象后的深层次信息进行任务关系描述,通过处理特定网络层中的参数达到信息共享的目的。紧接着,以两大类算法作为主线,本文详细分析了不同建模方法中对任务关系的结构假设、实现途径、各自的优缺点以及方法之间的联系。最后,本文总结了任务之间相似性及其紧密程度的判别依据,并且分析了多任务作用机制的有效性和内在成因,从归纳偏置和动态求解等角度阐述了多任务信息迁移的特点。 http://gb.oversea.cnki.net/KCMS/detail/detail.aspx?filename=JSJX20190417000&dbcode=CJFD&dbname=CAPJ2019

成为VIP会员查看完整内容
258

相关内容

多任务学习(MTL)是机器学习的一个子领域,可以同时解决多个学习任务,同时利用各个任务之间的共性和差异。与单独训练模型相比,这可以提高特定任务模型的学习效率和预测准确性。多任务学习是归纳传递的一种方法,它通过将相关任务的训练信号中包含的域信息用作归纳偏差来提高泛化能力。通过使用共享表示形式并行学习任务来实现,每个任务所学的知识可以帮助更好地学习其它任务。
专知会员服务
38+阅读 · 2020年8月14日
【文本分类大综述:从浅层到深度学习,35页pdf】
专知会员服务
182+阅读 · 2020年8月6日
深度学习目标检测方法综述
专知会员服务
255+阅读 · 2020年8月1日
实体关系抽取方法研究综述
专知会员服务
174+阅读 · 2020年7月19日
最新《深度多模态数据分析》综述论文,26页pdf
专知会员服务
292+阅读 · 2020年6月16日
基于深度学习的表面缺陷检测方法综述
专知会员服务
92+阅读 · 2020年5月31日
专知会员服务
214+阅读 · 2020年5月6日
多模态深度学习综述,18页pdf
专知会员服务
209+阅读 · 2020年3月29日
数据标注研究综述,软件学报,19页pdf
专知会员服务
85+阅读 · 2020年2月20日
多模态深度学习综述,18页pdf
专知
45+阅读 · 2020年3月29日
最全综述 | 图像分割算法
计算机视觉life
13+阅读 · 2019年6月20日
最全综述 | 医学图像处理
计算机视觉life
55+阅读 · 2019年6月15日
【综述】生成式对抗网络GAN最新进展综述
专知
57+阅读 · 2019年6月5日
自动机器学习(AutoML)最新综述
PaperWeekly
32+阅读 · 2018年11月7日
综述:深度学习时代的目标检测算法
极市平台
26+阅读 · 2018年3月17日
范式大学|迁移学习实战:从算法到实践
机器学习研究会
15+阅读 · 2017年8月9日
Arxiv
13+阅读 · 2020年4月12日
A Comprehensive Survey on Transfer Learning
Arxiv
117+阅读 · 2019年11月7日
Arxiv
15+阅读 · 2019年6月25日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Arxiv
10+阅读 · 2019年2月19日
Explanatory Graphs for CNNs
Arxiv
4+阅读 · 2018年12月18日
Arxiv
53+阅读 · 2018年12月11日
VIP会员
相关VIP内容
专知会员服务
38+阅读 · 2020年8月14日
【文本分类大综述:从浅层到深度学习,35页pdf】
专知会员服务
182+阅读 · 2020年8月6日
深度学习目标检测方法综述
专知会员服务
255+阅读 · 2020年8月1日
实体关系抽取方法研究综述
专知会员服务
174+阅读 · 2020年7月19日
最新《深度多模态数据分析》综述论文,26页pdf
专知会员服务
292+阅读 · 2020年6月16日
基于深度学习的表面缺陷检测方法综述
专知会员服务
92+阅读 · 2020年5月31日
专知会员服务
214+阅读 · 2020年5月6日
多模态深度学习综述,18页pdf
专知会员服务
209+阅读 · 2020年3月29日
数据标注研究综述,软件学报,19页pdf
专知会员服务
85+阅读 · 2020年2月20日
相关资讯
多模态深度学习综述,18页pdf
专知
45+阅读 · 2020年3月29日
最全综述 | 图像分割算法
计算机视觉life
13+阅读 · 2019年6月20日
最全综述 | 医学图像处理
计算机视觉life
55+阅读 · 2019年6月15日
【综述】生成式对抗网络GAN最新进展综述
专知
57+阅读 · 2019年6月5日
自动机器学习(AutoML)最新综述
PaperWeekly
32+阅读 · 2018年11月7日
综述:深度学习时代的目标检测算法
极市平台
26+阅读 · 2018年3月17日
范式大学|迁移学习实战:从算法到实践
机器学习研究会
15+阅读 · 2017年8月9日
相关论文
Arxiv
13+阅读 · 2020年4月12日
A Comprehensive Survey on Transfer Learning
Arxiv
117+阅读 · 2019年11月7日
Arxiv
15+阅读 · 2019年6月25日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Arxiv
10+阅读 · 2019年2月19日
Explanatory Graphs for CNNs
Arxiv
4+阅读 · 2018年12月18日
Arxiv
53+阅读 · 2018年12月11日
微信扫码咨询专知VIP会员