本项目的主要目标是开发一种原则性方法,在深度学习的生命周期中整合领域知识,有效降低模型复杂度,从而利用有限的训练数据训练出稳健而准确的深度模型。所提出的方法包括三大任务:

  • 整合来自辅助数据源的数据知识,以知识定义的结构正则化或参数空间约束的形式,修正深度学习的表述;
  • 整合模型知识,即利用同一任务中较简单模型的决策面来指导深度模型的学习,从而有效降低模型复杂度;
  • 整合优化器知识,旨在改进深度模型训练的优化程序。通过识别类似的学习任务并观察它们的梯度轨迹,可以训练优化器本身,以提供更快的收敛速度,还能避免不良的局部最优解;
  • 整合领域知识的一个副成果是为网络决策提供可解释性或可说明性,而这正是目前所缺乏的一种亟需的能力。
成为VIP会员查看完整内容
36

相关内容

人工智能在军事中可用于多项任务,例如目标识别、大数据处理、作战系统、网络安全、后勤运输、战争医疗、威胁和安全监测以及战斗模拟和训练。
《人工智能对战略和业务决策的影响》
专知会员服务
56+阅读 · 2023年12月17日
【2023新书】基于模型的机器学习,428页pdf
专知会员服务
154+阅读 · 2023年11月14日
《通过自适应蜂群智能实现认知物联网系统》
专知会员服务
41+阅读 · 2023年10月29日
《JADC2中实现分布式执行: 单元级情报案例研究》中文版
专知会员服务
109+阅读 · 2023年8月22日
【新书】基于物理的深度学习,220页pdf
专知会员服务
157+阅读 · 2021年9月15日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
180+阅读 · 2020年9月7日
【干货书】机器学习导论第四版,903页pdf
专知
26+阅读 · 2022年11月26日
【2022新书】深度学习归一化技术,117页pdf
专知
24+阅读 · 2022年11月25日
国家自然科学基金
25+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
33+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2009年12月31日
国家自然科学基金
45+阅读 · 2009年12月31日
A Survey of Large Language Models
Arxiv
407+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2023年3月26日
Arxiv
146+阅读 · 2023年3月24日
Arxiv
21+阅读 · 2023年3月17日
VIP会员
相关VIP内容
《人工智能对战略和业务决策的影响》
专知会员服务
56+阅读 · 2023年12月17日
【2023新书】基于模型的机器学习,428页pdf
专知会员服务
154+阅读 · 2023年11月14日
《通过自适应蜂群智能实现认知物联网系统》
专知会员服务
41+阅读 · 2023年10月29日
《JADC2中实现分布式执行: 单元级情报案例研究》中文版
专知会员服务
109+阅读 · 2023年8月22日
【新书】基于物理的深度学习,220页pdf
专知会员服务
157+阅读 · 2021年9月15日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
180+阅读 · 2020年9月7日
相关基金
国家自然科学基金
25+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
33+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2009年12月31日
国家自然科学基金
45+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员