本项目的主要目标是开发一种原则性方法,在深度学习的生命周期中整合领域知识,有效降低模型复杂度,从而利用有限的训练数据训练出稳健而准确的深度模型。所提出的方法包括三大任务:
- 整合来自辅助数据源的数据知识,以知识定义的结构正则化或参数空间约束的形式,修正深度学习的表述;
- 整合模型知识,即利用同一任务中较简单模型的决策面来指导深度模型的学习,从而有效降低模型复杂度;
- 整合优化器知识,旨在改进深度模型训练的优化程序。通过识别类似的学习任务并观察它们的梯度轨迹,可以训练优化器本身,以提供更快的收敛速度,还能避免不良的局部最优解;
- 整合领域知识的一个副成果是为网络决策提供可解释性或可说明性,而这正是目前所缺乏的一种亟需的能力。