【阿姆斯特丹博士论文】表示学习中的信息理论

本文探讨了信息理论在深度表示学习中的应用，旨在增强深度学习模型的理解能力和泛化能力。核心挑战是识别并剔除不必要的信息，使得模型能够捕捉输入数据中最相关的方面，而无需显式的标签监督。

我们开发了新的理论框架和实际学习目标，将经典的信息理论原则扩展到一系列机器学习场景，包括自监督学习、多视角学习和时间建模。这些方法解决了互信息估计、冗余减少和高效表示提取等关键问题，从而提供了更强大和可解释的表示。特别是，我们展示了这些方法如何改进对复杂高维数据的处理，并捕捉时变系统的基本动态，同时能够描述和缓解分布漂移的影响。

通过广泛的实证验证，我们证明了信息理论方法能够有效平衡压缩和预测，支持更加适应性强和数据高效的机器学习系统。

总体而言，本研究推动了信息理论在深度学习中的理论理解和实际应用，提供了对有效表示本质和从复杂数据中学习的挑战的新见解。