会员服务
黑箱学习 · NeurIPS 2021 · 信息理论 ·
2021 年 10 月 6 日
【NeurIPS2021】黑箱学习算法的信息理论泛化界
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

我们根据预测中包含的信息而不是训练算法的输出来推导有监督学习算法的信息理论泛化边界。这些边界改进了现有的信息理论界限，适用于更广泛的算法，并解决了两个关键的挑战: (a)它们为确定性算法提供了有意义的结果；(b)它们明显更容易估计。我们通过实验证明，在深度学习的实际场景中，所提出的边界与泛化差距密切相关。

https://www.zhuanzhi.ai/paper/0c63babe0fe06d384258215e6ab8f74c

成为VIP会员查看完整内容
https://www.zhuanzhi.ai/paper/0c63babe0fe06d384258215e6ab8f74c
Information-theoretic generalization bounds for black-box learning algorithms
23

相关内容

【NeurIPS2021】学习用于分布外预测的因果语义表示
【NeurIPS2021】学习用于分布外预测的因果语义表示
专知会员服务
18+阅读 · 2021年11月19日
【NeurIPS2021】半监督节点分类的拓扑不平衡学习
专知会员服务
16+阅读 · 2021年10月18日
《过参数化机器学习理论》综述论文
《过参数化机器学习理论》综述论文
专知会员服务
46+阅读 · 2021年9月19日
【硬核书】机器学习随机矩阵理论，472页pdf
专知会员服务
145+阅读 · 2021年8月12日
【ICML2021】具有性能保证的弱监督下的对抗性多类学习
专知会员服务
17+阅读 · 2021年7月13日
【ICML2021】DNN概率表示:桥接互信息和泛化
专知会员服务
23+阅读 · 2021年6月22日
【CVPR2021】现实世界域泛化的自适应方法
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
56+阅读 · 2021年3月31日
【NeurIPS2020-北大】非凸优化裁剪算法的改进分析
【NeurIPS2020-北大】非凸优化裁剪算法的改进分析
专知会员服务
29+阅读 · 2020年10月11日
【NeurIPS2020】梯度增强的转导优化和泛化分析及在多尺度图神经网络中的应用
专知会员服务
14+阅读 · 2020年9月27日
【ICML2020】机器学习无参数在线优化，294页ppt
【ICML2020】机器学习无参数在线优化，294页ppt
专知会员服务
55+阅读 · 2020年8月1日
【ICML2021】因果匹配领域泛化
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【NeurIPS2020】无限可能的联合对比学习
【NeurIPS2020】无限可能的联合对比学习
专知
3+阅读 · 2020年10月2日
【NeurIPS2020】可处理反事实推断的深度结构因果模型
【NeurIPS2020】可处理反事实推断的深度结构因果模型
专知
7+阅读 · 2020年9月29日
贝叶斯与深度学习如何结合？看这份256页《贝叶斯深度学习原理 》SPCOM2020硬核教程
贝叶斯与深度学习如何结合？看这份256页《贝叶斯深度学习原理 》SPCOM2020硬核教程
专知
19+阅读 · 2020年7月22日
【基于元学习的推荐系统】5篇相关论文
【基于元学习的推荐系统】5篇相关论文
专知
11+阅读 · 2020年1月20日
在稀疏和欠明确奖励中学习泛化
在稀疏和欠明确奖励中学习泛化
谷歌开发者
6+阅读 · 2019年3月20日
【UC伯克利】可解释性机器学习：定义、方法和应用
【UC伯克利】可解释性机器学习：定义、方法和应用
专知
70+阅读 · 2019年1月19日
通过时空模型迁移学习的无监督的跨数据集行人重新识别
通过时空模型迁移学习的无监督的跨数据集行人重新识别
统计学习与视觉计算组
8+阅读 · 2018年10月23日
信息论视角下的决策树算法：信息熵和信息增益
信息论视角下的决策树算法：信息熵和信息增益
论智
3+阅读 · 2018年4月15日
论文结果难复现？本文教你完美实现深度强化学习算法DQN
论文结果难复现？本文教你完美实现深度强化学习算法DQN
中国人工智能学会
5+阅读 · 2017年11月24日
Faster Convex Lipschitz Regression via 2-block ADMM
Arxiv
0+阅读 · 2021年11月29日
Towards Robust and Automatic Hyper-Parameter Tunning
Arxiv
1+阅读 · 2021年11月28日
GFlowNet Foundations
GFlowNet Foundations
Arxiv
9+阅读 · 2021年11月17日
A Survey on Green Deep Learning
Arxiv
10+阅读 · 2021年11月10日
Large-Scale Deep Learning Optimizations: A Comprehensive Survey
Arxiv
23+阅读 · 2021年11月2日
A Comprehensive Survey and Performance Analysis of Activation Functions in Deep Learning
A Comprehensive Survey and Performance Analysis of Activation Functions in Deep Learning
Arxiv
23+阅读 · 2021年9月29日
AI in Finance: Challenges, Techniques and Opportunities
Arxiv
45+阅读 · 2021年7月20日
The Principles of Deep Learning Theory
Arxiv
65+阅读 · 2021年6月18日
Anomalous Instance Detection in Deep Learning: A Survey
Anomalous Instance Detection in Deep Learning: A Survey
Arxiv
28+阅读 · 2020年3月16日
A Tour of Reinforcement Learning: The View from Continuous Control
Arxiv
6+阅读 · 2018年6月25日
VIP会员
相关主题
黑箱学习
NeurIPS 2021
信息理论
相关VIP内容
【NeurIPS2021】学习用于分布外预测的因果语义表示
【NeurIPS2021】学习用于分布外预测的因果语义表示
专知会员服务
18+阅读 · 2021年11月19日
【NeurIPS2021】半监督节点分类的拓扑不平衡学习
专知会员服务
16+阅读 · 2021年10月18日
《过参数化机器学习理论》综述论文
《过参数化机器学习理论》综述论文
专知会员服务
46+阅读 · 2021年9月19日
【硬核书】机器学习随机矩阵理论，472页pdf
专知会员服务
145+阅读 · 2021年8月12日
【ICML2021】具有性能保证的弱监督下的对抗性多类学习
专知会员服务
17+阅读 · 2021年7月13日
【ICML2021】DNN概率表示:桥接互信息和泛化
专知会员服务
23+阅读 · 2021年6月22日
【CVPR2021】现实世界域泛化的自适应方法
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
56+阅读 · 2021年3月31日
【NeurIPS2020-北大】非凸优化裁剪算法的改进分析
【NeurIPS2020-北大】非凸优化裁剪算法的改进分析
专知会员服务
29+阅读 · 2020年10月11日
【NeurIPS2020】梯度增强的转导优化和泛化分析及在多尺度图神经网络中的应用
专知会员服务
14+阅读 · 2020年9月27日
【ICML2020】机器学习无参数在线优化，294页ppt
【ICML2020】机器学习无参数在线优化，294页ppt
专知会员服务
55+阅读 · 2020年8月1日
热门VIP内容
相关资讯
【ICML2021】因果匹配领域泛化
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【NeurIPS2020】无限可能的联合对比学习
【NeurIPS2020】无限可能的联合对比学习
专知
3+阅读 · 2020年10月2日
【NeurIPS2020】可处理反事实推断的深度结构因果模型
【NeurIPS2020】可处理反事实推断的深度结构因果模型
专知
7+阅读 · 2020年9月29日
贝叶斯与深度学习如何结合？看这份256页《贝叶斯深度学习原理 》SPCOM2020硬核教程
贝叶斯与深度学习如何结合？看这份256页《贝叶斯深度学习原理 》SPCOM2020硬核教程
专知
19+阅读 · 2020年7月22日
【基于元学习的推荐系统】5篇相关论文
【基于元学习的推荐系统】5篇相关论文
专知
11+阅读 · 2020年1月20日
在稀疏和欠明确奖励中学习泛化
在稀疏和欠明确奖励中学习泛化
谷歌开发者
6+阅读 · 2019年3月20日
【UC伯克利】可解释性机器学习：定义、方法和应用
【UC伯克利】可解释性机器学习：定义、方法和应用
专知
70+阅读 · 2019年1月19日
通过时空模型迁移学习的无监督的跨数据集行人重新识别
通过时空模型迁移学习的无监督的跨数据集行人重新识别
统计学习与视觉计算组
8+阅读 · 2018年10月23日
信息论视角下的决策树算法：信息熵和信息增益
信息论视角下的决策树算法：信息熵和信息增益
论智
3+阅读 · 2018年4月15日
论文结果难复现？本文教你完美实现深度强化学习算法DQN
论文结果难复现？本文教你完美实现深度强化学习算法DQN
中国人工智能学会
5+阅读 · 2017年11月24日
相关论文
Faster Convex Lipschitz Regression via 2-block ADMM
Arxiv
0+阅读 · 2021年11月29日
Towards Robust and Automatic Hyper-Parameter Tunning
Arxiv
1+阅读 · 2021年11月28日
GFlowNet Foundations
GFlowNet Foundations
Arxiv
9+阅读 · 2021年11月17日
A Survey on Green Deep Learning
Arxiv
10+阅读 · 2021年11月10日
Large-Scale Deep Learning Optimizations: A Comprehensive Survey
Arxiv
23+阅读 · 2021年11月2日
A Comprehensive Survey and Performance Analysis of Activation Functions in Deep Learning
A Comprehensive Survey and Performance Analysis of Activation Functions in Deep Learning
Arxiv
23+阅读 · 2021年9月29日
AI in Finance: Challenges, Techniques and Opportunities
Arxiv
45+阅读 · 2021年7月20日
The Principles of Deep Learning Theory
Arxiv
65+阅读 · 2021年6月18日
Anomalous Instance Detection in Deep Learning: A Survey
Anomalous Instance Detection in Deep Learning: A Survey
Arxiv
28+阅读 · 2020年3月16日
A Tour of Reinforcement Learning: The View from Continuous Control
Arxiv
6+阅读 · 2018年6月25日
微信扫码咨询专知VIP会员
Top