【牛津大学博士论文】神经网络中的核与特征学习，160页pdf

受宽神经网络（NNs）理论的启发，核学习和特征学习近期作为两个范式浮现出来，通过它们我们可以实际理解大规模深度学习系统的复杂行为。在文献中，它们通常被描述为二分法的两个对立面，各自具有优点和缺点：核学习与经过深入研究的机器学习技术（如核方法和高斯过程）建立联系，而特征学习则承诺捕捉更多丰富而尚未解释的，独特于神经网络的属性。在这篇论文中，我们介绍了三项研究，研究结合了来自两个角度的见解来研究神经网络的性质，不仅强调它们的差异，而且强调共同点。我们首先回顾了有关深度学习理论的相关文献，重点是宽神经网络的研究。这为核学习和特征学习的讨论提供了背景，基于此，我们继续描述我们的贡献。首先，我们研究了宽神经网络集合与贝叶斯推断之间的关系，利用核学习与高斯过程之间的联系，并提出了一种修改，以解释神经网络函数在初始化时缺失的方差，从而使我们训练过的深度集合具有贝叶斯解释。接下来，我们结合核学习和特征学习来展示特征核的适用性，即通过最终层神经网络特征的内积引导的核，作为知识蒸馏的目标，其中人们寻求使用强大的教师模型来提高弱学生模型的性能。最后，我们探讨自监督学习中折叠特征和白化特征之间的差距，强调特征核中特征值的衰减率作为一项关键量，它弥合了这一差距，并影响下游泛化性能，特别是在标记数据稀缺的情况下。我们以讨论我们的贡献，包括局限性和未来展望，作为结论。