我们根据预测中包含的信息而不是训练算法的输出来推导有监督学习算法的信息理论泛化边界。这些边界改进了现有的信息理论界限，适用于更广泛的算法，并解决了两个关键的挑战: (a)它们为确定性算法提供了有意义的结果；(b)它们明显更容易估计。我们通过实验证明，在深度学习的实际场景中，所提出的边界与泛化差距密切相关。
https://www.zhuanzhi.ai/paper/0c63babe0fe06d384258215e6ab8f74c
成为VIP会员查看完整内容
Information-theoretic generalization bounds for black-box learning algorithms
相关内容
Arxiv
23+阅读 · 2021年9月29日
相关主题
相关VIP内容
相关资讯
相关论文
Arxiv
23+阅读 · 2021年9月29日
微信扫码咨询专知VIP会员