【Nature论文】深度网络中的梯度下降复杂度控制

2020 年 3 月 9 日 专知

尽管在训练过程中缺乏显式的复杂性控制,如显式正则化项,但参数化过度的深层网络预测效果良好。对于指数型损失函数,我们通过在与分类相关的归一化权值方面展示梯度下降的有效正则化效果来解决这个难题。


https://www.nature.com/articles/s41467-020-14663-9



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“CGD” 就可以获取Nature论文—深度网络中的梯度下降复杂度控制》专知下载链接


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
0

相关内容

【CVPR2020-Oral】用于深度网络的任务感知超参数
专知会员服务
25+阅读 · 2020年5月25日
【CMU】深度学习模型中集成优化、约束和控制,33页ppt
专知会员服务
44+阅读 · 2020年5月23日
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
26+阅读 · 2020年4月6日
强化学习和最优控制的《十个关键点》81页PPT汇总
专知会员服务
102+阅读 · 2020年3月2日
深度强化学习策略梯度教程,53页ppt
专知会员服务
176+阅读 · 2020年2月1日
MIT新书《强化学习与最优控制》
专知会员服务
270+阅读 · 2019年10月9日
深度学习算法与架构回顾
专知
7+阅读 · 2019年5月5日
Nature 一周论文导读 | 2019 年 2 月 21 日
科研圈
14+阅读 · 2019年3月3日
深度学习有何局限?这篇论文探讨一二
专知
9+阅读 · 2019年1月26日
深度强化学习简介
专知
29+阅读 · 2018年12月3日
ICML2018 模仿学习教程
专知
6+阅读 · 2018年7月14日
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
A Multi-Objective Deep Reinforcement Learning Framework
Arxiv
3+阅读 · 2018年6月24日
Arxiv
11+阅读 · 2018年1月28日
VIP会员
Top
微信扫码咨询专知VIP会员