Though learning has become a core technology of modern information processing, there is now ample evidence that it can lead to biased, unsafe, and prejudiced solutions. The need to impose requirements on learning is therefore paramount, especially as it reaches critical applications in social, industrial, and medical domains. However, the non-convexity of most modern learning problems is only exacerbated by the introduction of constraints. Whereas good unconstrained solutions can often be learned using empirical risk minimization (ERM), even obtaining a model that satisfies statistical constraints can be challenging, all the more so a good one. In this paper, we overcome this issue by learning in the empirical dual domain, where constrained statistical learning problems become unconstrained, finite dimensional, and deterministic. We analyze the generalization properties of this approach by bounding the empirical duality gap, i.e., the difference between our approximate, tractable solution and the solution of the original (non-convex)~statistical problem, and provide a practical constrained learning algorithm. These results establish a constrained counterpart of classical learning theory and enable the explicit use of constraints in learning. We illustrate this algorithm and theory in rate-constrained learning applications.


翻译:虽然学习已成为现代信息处理的核心技术,但现在有充足的证据表明,它可能导致有偏见、不安全和偏见的解决方案。因此,对学习强加要求至关重要,特别是因为它在社会、工业和医疗领域达到关键应用。然而,大多数现代学习问题的不协调性由于引入限制因素而加剧。尽管利用经验风险最小化(ERM)往往可以学习好的、不受限制的解决办法,但获得一个满足统计限制的模型可能具有挑战性,而这种模式则更为良好。在本文中,我们通过在经验双领域学习克服了这一问题,在这个领域,有限的统计学习问题变得不受限制、有限的维度和决定性。我们通过将经验上的双重性差距,即我们的近似、易行的解决办法和原始(非碳化)统计问题的解决办法之间的差异,来分析这一方法的普遍性特性,并提供一种实际的限制性学习算法。这些结果形成了一种受限制的经典学习理论的对照,并使得在学习中明确使用限制因素。我们用这种算法和理论来分析这种受费率限制的学习应用。

0
下载
关闭预览

相关内容

【google】监督对比学习,Supervised Contrastive Learning
专知会员服务
31+阅读 · 2020年4月23日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
61+阅读 · 2020年2月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
已删除
将门创投
5+阅读 · 2017年11月22日
Arxiv
6+阅读 · 2021年6月24日
Arxiv
126+阅读 · 2020年9月6日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Logically-Constrained Reinforcement Learning
Arxiv
3+阅读 · 2018年12月6日
Few Shot Learning with Simplex
Arxiv
5+阅读 · 2018年7月27日
Arxiv
5+阅读 · 2018年5月1日
Arxiv
5+阅读 · 2018年1月14日
Arxiv
3+阅读 · 2016年2月24日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
已删除
将门创投
5+阅读 · 2017年11月22日
相关论文
Arxiv
6+阅读 · 2021年6月24日
Arxiv
126+阅读 · 2020年9月6日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Logically-Constrained Reinforcement Learning
Arxiv
3+阅读 · 2018年12月6日
Few Shot Learning with Simplex
Arxiv
5+阅读 · 2018年7月27日
Arxiv
5+阅读 · 2018年5月1日
Arxiv
5+阅读 · 2018年1月14日
Arxiv
3+阅读 · 2016年2月24日
Top
微信扫码咨询专知VIP会员