One of the principal scientific challenges in deep learning is explaining generalization, i.e., why the particular way the community now trains networks to achieve small training error also leads to small error on held-out data from the same population. It is widely appreciated that some worst-case theories -- such as those based on the VC dimension of the class of predictors induced by modern neural network architectures -- are unable to explain empirical performance. A large volume of work aims to close this gap, primarily by developing bounds on generalization error, optimization error, and excess risk. When evaluated empirically, however, most of these bounds are numerically vacuous. Focusing on generalization bounds, this work addresses the question of how to evaluate such bounds empirically. Jiang et al. (2020) recently described a large-scale empirical study aimed at uncovering potential causal relationships between bounds/measures and generalization. Building on their study, we highlight where their proposed methods can obscure failures and successes of generalization measures in explaining generalization. We argue that generalization measures should instead be evaluated within the framework of distributional robustness.


翻译:深层学习中的主要科学挑战之一是解释一般化,即为什么社区现在培训网络以实现小型培训错误的特殊方式也会导致同一人口持有的数据出现小错误。人们广泛认识到,一些最坏的理论 -- -- 例如现代神经网络结构引起的预测器类别VC层面的理论 -- -- 无法解释经验性表现。大量工作的目的是缩小这一差距,主要通过发展关于一般化错误、优化错误和超额风险的界限。然而,在经验性评价时,大多数这些界限都是数字性的。在注重一般化界限时,这项工作涉及如何以经验性方式评价这些界限的问题。江江等人(2020年)最近介绍了一项大规模的经验性研究,旨在发现界限/计量和概括性之间的潜在因果关系。我们在其研究的基础上,强调所提议的方法在哪些方面可以掩盖在解释一般化方面的失败和成功之处。我们指出,一般化措施应在分配性强度的框架内加以评价。

0
下载
关闭预览

相关内容

专知会员服务
50+阅读 · 2020年12月14日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
129+阅读 · 2020年5月14日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2021年3月15日
Arxiv
14+阅读 · 2020年12月17日
The Measure of Intelligence
Arxiv
6+阅读 · 2019年11月5日
Compositional Generalization in Image Captioning
Arxiv
3+阅读 · 2019年9月16日
Generalization and Regularization in DQN
Arxiv
6+阅读 · 2019年1月30日
Risk-Aware Active Inverse Reinforcement Learning
Arxiv
7+阅读 · 2019年1月8日
Arxiv
12+阅读 · 2018年9月5日
Arxiv
3+阅读 · 2018年2月24日
VIP会员
相关VIP内容
专知会员服务
50+阅读 · 2020年12月14日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
129+阅读 · 2020年5月14日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
相关资讯
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
相关论文
Arxiv
0+阅读 · 2021年3月15日
Arxiv
14+阅读 · 2020年12月17日
The Measure of Intelligence
Arxiv
6+阅读 · 2019年11月5日
Compositional Generalization in Image Captioning
Arxiv
3+阅读 · 2019年9月16日
Generalization and Regularization in DQN
Arxiv
6+阅读 · 2019年1月30日
Risk-Aware Active Inverse Reinforcement Learning
Arxiv
7+阅读 · 2019年1月8日
Arxiv
12+阅读 · 2018年9月5日
Arxiv
3+阅读 · 2018年2月24日
Top
微信扫码咨询专知VIP会员