最新《多任务学习》综述,39页pdf

2020 年 7 月 10 日 专知


 随着图像处理,语音识别等人工智能技术的发展,很多学习方法尤其是采用深度学习框架的方法取得了优异的性能,在精度和速度方面有了很大的提升,但随之带来的问题也很明显,这些学习方法如果要获得稳定的学习效果,往往需要使用数量庞大的标注数据进行充分训练,否则就会出现欠拟合的情况而导致学习性能的下降。因此,随着任务复杂程度和数据规模的增加,对人工标注数据的数量和质量也提出了更高的要求,造成了标注成本和难度的增大。同时,单一任务的独立学习往往忽略了来自其他任务的经验信息,致使训练冗余重复因而导致了学习资源的浪费,也限制了其性能的提升。为了缓解这些问题,属于迁移学习范畴的多任务学习方法逐渐引起了研究者的重视。与单任务学习只使用单个任务的样本信息不同,多任务学习假设不同任务数据分布之间存在一定的相似性,在此基础上通过共同训练和优化建立任务之间的联系。这种训练模式充分促进任务之间的信息交换并达到了相互学习的目的,尤其是在各自任务样本容量有限的条件下,各个任务可以从其它任务获得一定的启发,借助于学习过程中的信息迁移能间接利用其它任务的数据,从而缓解了对大量标注数据的依赖,也达到了提升各自任务学习性能的目的。在此背景之下,本文首先介绍了相关任务的概念,并按照功能的不同对相关任务的类型进行划分后再对它们的特点进行逐一描述。然后,本文按照数据处理模式和任务关系建模过程的不同将当前的主流算法划分为两大类:结构化多任务学习算法和深度多任务学习算法。其中,结构化多任务学习算法采用线性模型,可以直接针对数据进行结构假设并且使用原有标注特征表述任务关系,同时,又可根据学习对象的不同将其细分为基于任务层面和基于特征层面两种不同结构,每种结构有判别式方法和生成式方法两种实现手段。与结构化多任务学习算法的建模过程不同,深度多任务学习算法利用经过多层特征抽象后的深层次信息进行任务关系描述,通过处理特定网络层中的参数达到信息共享的目的。紧接着,以两大类算法作为主线,本文详细分析了不同建模方法中对任务关系的结构假设、实现途径、各自的优缺点以及方法之间的联系。最后,本文总结了任务之间相似性及其紧密程度的判别依据,并且分析了多任务作用机制的有效性和内在成因,从归纳偏置和动态求解等角度阐述了多任务信息迁移的特点。 
http://gb.oversea.cnki.net/KCMS/detail/detail.aspx?filename=JSJX20190417000&dbcode=CJFD&dbname=CAPJ2019



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“MTL39” 可以获取《最新《多任务学习》综述,39页pdf》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
28

相关内容

多任务学习(MTL)是机器学习的一个子领域,可以同时解决多个学习任务,同时利用各个任务之间的共性和差异。与单独训练模型相比,这可以提高特定任务模型的学习效率和预测准确性。多任务学习是归纳传递的一种方法,它通过将相关任务的训练信号中包含的域信息用作归纳偏差来提高泛化能力。通过使用共享表示形式并行学习任务来实现,每个任务所学的知识可以帮助更好地学习其它任务。
【文本分类大综述:从浅层到深度学习,35页pdf】
专知会员服务
185+阅读 · 2020年8月6日
深度学习目标检测方法综述
专知会员服务
271+阅读 · 2020年8月1日
实体关系抽取方法研究综述
专知会员服务
176+阅读 · 2020年7月19日
最新《深度多模态数据分析》综述论文,26页pdf
专知会员服务
297+阅读 · 2020年6月16日
基于深度学习的表面缺陷检测方法综述
专知会员服务
85+阅读 · 2020年5月31日
专知会员服务
220+阅读 · 2020年5月6日
多模态深度学习综述,18页pdf
专知会员服务
213+阅读 · 2020年3月29日
数据标注研究综述,软件学报,19页pdf
专知会员服务
88+阅读 · 2020年2月20日
新加坡南洋理工最新37页《零样本学习综述》论文
专知会员服务
112+阅读 · 2019年10月20日
多模态深度学习综述,18页pdf
专知
47+阅读 · 2020年3月29日
最全综述 | 图像分割算法
计算机视觉life
14+阅读 · 2019年6月20日
最全综述 | 医学图像处理
计算机视觉life
57+阅读 · 2019年6月15日
【综述】生成式对抗网络GAN最新进展综述
专知
57+阅读 · 2019年6月5日
迁移自适应学习最新综述,附21页论文下载
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
范式大学|迁移学习实战:从算法到实践
机器学习研究会
16+阅读 · 2017年8月9日
Arxiv
13+阅读 · 2020年4月12日
A Comprehensive Survey on Transfer Learning
Arxiv
120+阅读 · 2019年11月7日
Arxiv
15+阅读 · 2019年6月25日
Arxiv
10+阅读 · 2019年2月19日
Explanatory Graphs for CNNs
Arxiv
4+阅读 · 2018年12月18日
Arxiv
53+阅读 · 2018年12月11日
VIP会员
相关VIP内容
【文本分类大综述:从浅层到深度学习,35页pdf】
专知会员服务
185+阅读 · 2020年8月6日
深度学习目标检测方法综述
专知会员服务
271+阅读 · 2020年8月1日
实体关系抽取方法研究综述
专知会员服务
176+阅读 · 2020年7月19日
最新《深度多模态数据分析》综述论文,26页pdf
专知会员服务
297+阅读 · 2020年6月16日
基于深度学习的表面缺陷检测方法综述
专知会员服务
85+阅读 · 2020年5月31日
专知会员服务
220+阅读 · 2020年5月6日
多模态深度学习综述,18页pdf
专知会员服务
213+阅读 · 2020年3月29日
数据标注研究综述,软件学报,19页pdf
专知会员服务
88+阅读 · 2020年2月20日
新加坡南洋理工最新37页《零样本学习综述》论文
专知会员服务
112+阅读 · 2019年10月20日
相关资讯
多模态深度学习综述,18页pdf
专知
47+阅读 · 2020年3月29日
最全综述 | 图像分割算法
计算机视觉life
14+阅读 · 2019年6月20日
最全综述 | 医学图像处理
计算机视觉life
57+阅读 · 2019年6月15日
【综述】生成式对抗网络GAN最新进展综述
专知
57+阅读 · 2019年6月5日
迁移自适应学习最新综述,附21页论文下载
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
范式大学|迁移学习实战:从算法到实践
机器学习研究会
16+阅读 · 2017年8月9日
相关论文
Arxiv
13+阅读 · 2020年4月12日
A Comprehensive Survey on Transfer Learning
Arxiv
120+阅读 · 2019年11月7日
Arxiv
15+阅读 · 2019年6月25日
Arxiv
10+阅读 · 2019年2月19日
Explanatory Graphs for CNNs
Arxiv
4+阅读 · 2018年12月18日
Arxiv
53+阅读 · 2018年12月11日
Top
微信扫码咨询专知VIP会员