会员服务
损失 · 学成 · 类别 · 平滑 · 机器学习 ·
2021 年 4 月 26 日
Learning with risks based on M-location
翻译：基于M-地点的学习风险
Matthew J. Holland
Matthew J. Holland
from arxiv, Substantial update to initial version; refined theory, improved exposition, added experimental analysis

In this work, we study a new class of risks defined in terms of the location and deviation of the loss distribution, generalizing far beyond classical mean-variance risk functions. The class is easily implemented as a wrapper around any smooth loss, it admits finite-sample stationarity guarantees for stochastic gradient methods, it is straightforward to interpret and adjust, with close links to M-estimators of the loss location, and has a salient effect on the test loss distribution.


翻译：在这项工作中,我们研究一种按损失分布的位置和偏差界定的新的风险类别,这种类别的范围远远超过传统的中差风险功能。 这种类别很容易作为任何平稳损失的包装袋来实施,它承认对随机梯度方法的有限抽样固定性保证,解释和调整是直接的,与损失分布的M-估计点有密切联系,并且对测试损失分布有显著影响。
0
下载
关闭预览

相关内容

深度学习优化算法，73页ppt，Optimization Algorithms on Deep Learning
深度学习优化算法，73页ppt，Optimization Algorithms on Deep Learning
专知会员服务
132+阅读 · 2021年6月16日
【DeepMind】基于模型的强化学习，174页ppt，Model-Based Reinforcement Learning
【DeepMind】基于模型的强化学习，174页ppt，Model-Based Reinforcement Learning
专知会员服务
87+阅读 · 2021年1月12日
【MIT】反偏差对比学习，Debiased Contrastive Learning
【MIT】反偏差对比学习，Debiased Contrastive Learning
专知会员服务
90+阅读 · 2020年7月4日
【牛津大学博士论文】基于强化学习的无地图机器人导航，Reinforcement Learning Based MRN
【牛津大学博士论文】基于强化学习的无地图机器人导航，Reinforcement Learning Based MRN
专知会员服务
116+阅读 · 2020年5月18日
【伯克利】元学习的元基线，A New Meta-Baseline for Few-Shot Learning
【伯克利】元学习的元基线，A New Meta-Baseline for Few-Shot Learning
专知会员服务
66+阅读 · 2020年3月28日
元迁移学习的小样本学习，Meta-transfer Learning for Few-shot Learning
元迁移学习的小样本学习，Meta-transfer Learning for Few-shot Learning
专知会员服务
158+阅读 · 2020年2月29日
【贝叶斯深度学习：一种基于模型的可解释方法】Bayesian deep learning: A model-based interpretable approach
【贝叶斯深度学习：一种基于模型的可解释方法】Bayesian deep learning: A model-based interpretable approach
专知会员服务
48+阅读 · 2020年1月1日
近期必读的6篇 NeurIPS 2019 的零样本学习(Zero-Shot Learning)论文
近期必读的6篇 NeurIPS 2019 的零样本学习(Zero-Shot Learning)论文
专知会员服务
58+阅读 · 2019年12月24日
论深度学习的信息瓶颈理论（On the information bottleneck theory of deep learning）
论深度学习的信息瓶颈理论（On the information bottleneck theory of deep learning）
专知会员服务
65+阅读 · 2019年12月20日
Stabilizing Transformers for Reinforcement Learning
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
Federated Learning: 架构
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
灾难性遗忘问题新视角：迁移-干扰平衡
灾难性遗忘问题新视角：迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年：MAML SNAIL
meta learning 17年：MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【论文推荐】最新5篇度量学习（Metric Learning）相关论文—人脸验证、BIER、自适应图卷积、注意力机制、单次学习
【论文推荐】最新5篇度量学习（Metric Learning）相关论文—人脸验证、BIER、自适应图卷积、注意力机制、单次学习
专知
17+阅读 · 2018年2月11日
【学习】Hierarchical Softmax
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习 cartpole_a3c
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Off-Belief Learning
Arxiv
0+阅读 · 2021年6月16日
On the Convergence of Deep Learning with Differential Privacy
Arxiv
0+阅读 · 2021年6月15日
On the Sample Complexity of Learning with Geometric Stability
Arxiv
0+阅读 · 2021年6月14日
Discrepancy-Based Active Learning for Domain Adaptation
Arxiv
0+阅读 · 2021年6月7日
Neural Active Learning with Performance Guarantees
Arxiv
0+阅读 · 2021年6月6日
Joint Optimization of Multi-Objective Reinforcement Learning with Policy Gradient Based Algorithm
Arxiv
0+阅读 · 2021年5月28日
The Causal Learning of Retail Delinquency
Arxiv
14+阅读 · 2020年12月17日
Model-based Adversarial Meta-Reinforcement Learning
Arxiv
5+阅读 · 2020年6月16日
Multi-task Deep Reinforcement Learning with PopArt
Multi-task Deep Reinforcement Learning with PopArt
Arxiv
4+阅读 · 2018年9月12日
Multi-Task Learning with Labeled and Unlabeled Tasks
Arxiv
3+阅读 · 2017年6月8日
VIP会员
文章信息
前往arXiv
下载PDF
相关主题
损失
学成
类别
平滑
机器学习
相关VIP内容
深度学习优化算法，73页ppt，Optimization Algorithms on Deep Learning
深度学习优化算法，73页ppt，Optimization Algorithms on Deep Learning
专知会员服务
132+阅读 · 2021年6月16日
【DeepMind】基于模型的强化学习，174页ppt，Model-Based Reinforcement Learning
【DeepMind】基于模型的强化学习，174页ppt，Model-Based Reinforcement Learning
专知会员服务
87+阅读 · 2021年1月12日
【MIT】反偏差对比学习，Debiased Contrastive Learning
【MIT】反偏差对比学习，Debiased Contrastive Learning
专知会员服务
90+阅读 · 2020年7月4日
【牛津大学博士论文】基于强化学习的无地图机器人导航，Reinforcement Learning Based MRN
【牛津大学博士论文】基于强化学习的无地图机器人导航，Reinforcement Learning Based MRN
专知会员服务
116+阅读 · 2020年5月18日
【伯克利】元学习的元基线，A New Meta-Baseline for Few-Shot Learning
【伯克利】元学习的元基线，A New Meta-Baseline for Few-Shot Learning
专知会员服务
66+阅读 · 2020年3月28日
元迁移学习的小样本学习，Meta-transfer Learning for Few-shot Learning
元迁移学习的小样本学习，Meta-transfer Learning for Few-shot Learning
专知会员服务
158+阅读 · 2020年2月29日
【贝叶斯深度学习：一种基于模型的可解释方法】Bayesian deep learning: A model-based interpretable approach
【贝叶斯深度学习：一种基于模型的可解释方法】Bayesian deep learning: A model-based interpretable approach
专知会员服务
48+阅读 · 2020年1月1日
近期必读的6篇 NeurIPS 2019 的零样本学习(Zero-Shot Learning)论文
近期必读的6篇 NeurIPS 2019 的零样本学习(Zero-Shot Learning)论文
专知会员服务
58+阅读 · 2019年12月24日
论深度学习的信息瓶颈理论（On the information bottleneck theory of deep learning）
论深度学习的信息瓶颈理论（On the information bottleneck theory of deep learning）
专知会员服务
65+阅读 · 2019年12月20日
Stabilizing Transformers for Reinforcement Learning
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
热门VIP内容
相关资讯
Federated Learning: 架构
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
灾难性遗忘问题新视角：迁移-干扰平衡
灾难性遗忘问题新视角：迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年：MAML SNAIL
meta learning 17年：MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【论文推荐】最新5篇度量学习（Metric Learning）相关论文—人脸验证、BIER、自适应图卷积、注意力机制、单次学习
【论文推荐】最新5篇度量学习（Metric Learning）相关论文—人脸验证、BIER、自适应图卷积、注意力机制、单次学习
专知
17+阅读 · 2018年2月11日
【学习】Hierarchical Softmax
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习 cartpole_a3c
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Off-Belief Learning
Arxiv
0+阅读 · 2021年6月16日
On the Convergence of Deep Learning with Differential Privacy
Arxiv
0+阅读 · 2021年6月15日
On the Sample Complexity of Learning with Geometric Stability
Arxiv
0+阅读 · 2021年6月14日
Discrepancy-Based Active Learning for Domain Adaptation
Arxiv
0+阅读 · 2021年6月7日
Neural Active Learning with Performance Guarantees
Arxiv
0+阅读 · 2021年6月6日
Joint Optimization of Multi-Objective Reinforcement Learning with Policy Gradient Based Algorithm
Arxiv
0+阅读 · 2021年5月28日
The Causal Learning of Retail Delinquency
Arxiv
14+阅读 · 2020年12月17日
Model-based Adversarial Meta-Reinforcement Learning
Arxiv
5+阅读 · 2020年6月16日
Multi-task Deep Reinforcement Learning with PopArt
Multi-task Deep Reinforcement Learning with PopArt
Arxiv
4+阅读 · 2018年9月12日
Multi-Task Learning with Labeled and Unlabeled Tasks
Arxiv
3+阅读 · 2017年6月8日
Top
微信扫码咨询专知VIP会员
Top