【ICML2021】DNN概率表示:桥接互信息和泛化

近年来，互信息(MI)在限制深度神经网络(DNNs)泛化误差方面引起了人们的广泛关注。然而，由于很难准确估计神经网络中的信息熵，因此以往的研究大多都需要放宽信息熵的界限，从而削弱了对泛化的信息理论解释。针对这一局限性，本文引入了一种用于精确估计MI的DNNs的概率表示方法。利用本文提出的MI估计器，我们验证了对泛化的信息理论解释，并得出了一个比最先进的松解更紧的概化边界。