【香港浸会大学】解密深度学习

近年来，深度学习技术在多个领域的应用中取得了令人难以置信的成功。然而，由于其复杂性与多样性，深度学习模型通常被大家认为是黑箱模型。在许多学习任务当中，什么样的深度学习模型以及相应的参数配置能够取得优越的性能？为什么这些模型与配置会有其优越性？我们需要如何找到这样的模型与配置等问题？以上这些未解之谜使得深度学习更像是一门随性的艺术，而非严谨的科学。

为从科学的角度揭示深度学习的内在运作机制，为深度学习模型设计与参数配置提供客观有效的指引，并提供相应的理论支撑与可解释性，香港浸会大学计算机科学系刘际明教授课题组系统地创建与展示了一个深度学习模型设计和信息论分析的全面框架。针对给定的学习任务与相应数据集，该学习框架能够构建合适的深度学习模型、从理论上对模型的学习行为进行严谨的分析、并从捕获信息的角度定量的刻画模型的学习能力（information capacity，简称i-CAP）、并据此判定模型的必要与充分配置（Necessary and Sufficient Configurations）。通过该框架，我们可以解决深度学习中一个悬而未决的问题，即如何针对给定的学习数据集确定所设计的深度学习模型及其正确的参数配置。该论文刚刚被人工智能/机器学习/神经网络国际顶级期刊IEEE Transactions on Neural Networks and Learning Systems（TNNLS）所接收，目前已见刊并对公众开放（Open Access: https://ieeexplore.ieee.org/document/9185001）。