项目名称: 多任务学习的理论分析与应用

项目编号: No.11401076

项目类型: 青年科学基金项目

立项/批准年度: 2014

项目学科: 数理科学和化学

项目作者: 张超

作者单位: 大连理工大学

项目金额: 22万元

中文摘要: 多任务学习是指在一次学习过程中同时完成多个学习任务的方法。相比于传统的单任务学习方法,多任务学习更关注于各个任务之间的相关性,并利用此相关性以更低的运算成本得到更具泛化性的结果。尽管多任务学习方法已经被广泛应用到许多领域,但是其理论分析工作还处于起步阶段并仍有许多问题有待进一步的解决。在本项目中,我们将研究多任务学习过程的泛化界、一致性、收敛率和学习模型的可学习性等。考虑到多任务学习的特性,我们拟将经典的统计学习理论结果推广到向量值函数情形。我们将得到对应于向量值函数的偏差不等式、对称不等式进而求得多任务学习过程的泛化界。我们还将研究向量值函数类复杂度和任务相关性度量,并讨论任务相关性对多任务学习过程的一致性和收敛率的影响。以得到的理论结果为基础,我们将对已有的多任务学习算法模型进行改进。

中文关键词: 多任务学习;范化界;统计学习理论;随机矩阵;机器学习

英文摘要: Multi-task learning is referring to a learning process where multiple learning tasks are achieved simultaneously. Compared to the traditional single-task learning, the multi-task learning performs better at a lower cost by exploiting the relatedness among

英文关键词: multi-task learning;generalization bound;statistical learning theory;random matrix;machine learning

成为VIP会员查看完整内容
3

相关内容

多任务学习(MTL)是机器学习的一个子领域,可以同时解决多个学习任务,同时利用各个任务之间的共性和差异。与单独训练模型相比,这可以提高特定任务模型的学习效率和预测准确性。多任务学习是归纳传递的一种方法,它通过将相关任务的训练信号中包含的域信息用作归纳偏差来提高泛化能力。通过使用共享表示形式并行学习任务来实现,每个任务所学的知识可以帮助更好地学习其它任务。
【NeurIPS2021】序一致因果图的多任务学习
专知会员服务
14+阅读 · 2021年11月7日
专知会员服务
47+阅读 · 2021年7月25日
专知会员服务
98+阅读 · 2021年7月24日
专知会员服务
70+阅读 · 2021年5月25日
《多任务学习》最新综述论文,20页pdf
专知会员服务
104+阅读 · 2021年4月6日
最新《非凸优化理论》进展书册,79页pdf
专知会员服务
86+阅读 · 2020年12月18日
【NeurIPS 2020】近似推断进展,272页ppt
专知会员服务
31+阅读 · 2020年12月11日
专知会员服务
55+阅读 · 2020年12月7日
最新《多任务学习》综述,39页pdf
专知会员服务
218+阅读 · 2020年7月10日
多任务学习漫谈:分主次之序
PaperWeekly
0+阅读 · 3月7日
多任务学习漫谈:以损失之名
PaperWeekly
1+阅读 · 1月26日
经典重温:卡尔曼滤波器介绍与理论分析
极市平台
0+阅读 · 2021年10月25日
最新《多任务学习》综述,39页pdf
专知
13+阅读 · 2020年7月10日
迁移学习在深度学习中的应用
专知
17+阅读 · 2017年12月24日
共享相关任务表征,一文读懂深度神经网络多任务学习
深度学习世界
15+阅读 · 2017年6月23日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 4月20日
Arxiv
0+阅读 · 4月19日
Arxiv
12+阅读 · 2020年6月20日
Arxiv
10+阅读 · 2017年7月4日
小贴士
相关VIP内容
【NeurIPS2021】序一致因果图的多任务学习
专知会员服务
14+阅读 · 2021年11月7日
专知会员服务
47+阅读 · 2021年7月25日
专知会员服务
98+阅读 · 2021年7月24日
专知会员服务
70+阅读 · 2021年5月25日
《多任务学习》最新综述论文,20页pdf
专知会员服务
104+阅读 · 2021年4月6日
最新《非凸优化理论》进展书册,79页pdf
专知会员服务
86+阅读 · 2020年12月18日
【NeurIPS 2020】近似推断进展,272页ppt
专知会员服务
31+阅读 · 2020年12月11日
专知会员服务
55+阅读 · 2020年12月7日
最新《多任务学习》综述,39页pdf
专知会员服务
218+阅读 · 2020年7月10日
相关资讯
多任务学习漫谈:分主次之序
PaperWeekly
0+阅读 · 3月7日
多任务学习漫谈:以损失之名
PaperWeekly
1+阅读 · 1月26日
经典重温:卡尔曼滤波器介绍与理论分析
极市平台
0+阅读 · 2021年10月25日
最新《多任务学习》综述,39页pdf
专知
13+阅读 · 2020年7月10日
迁移学习在深度学习中的应用
专知
17+阅读 · 2017年12月24日
共享相关任务表征,一文读懂深度神经网络多任务学习
深度学习世界
15+阅读 · 2017年6月23日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员