成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
3
深度神经网络
·
梯度下降
·
2020 年 3 月 9 日
【Nature论文】深度网络中的梯度下降复杂度控制
专知会员服务
专知,提供专业可信的知识分发服务,让认知协作更快更好!
尽管在训练过程中缺乏显式的复杂性控制,如显式正则化项,但参数化过度的深层网络预测效果良好。对于指数型损失函数,我们通过在与分类相关的归一化权值方面展示梯度下降的有效正则化效果来解决这个难题。
成为VIP会员查看完整内容
https://www.nature.com/articles/s41467-020-14663-9
Complexity control by gradient descent in deep networks
点赞并收藏
3
暂时没有读者
38
权益说明
本文档仅做收录索引使用,若发现您的权益受到侵害,请立即联系客服(微信: zhuanzhi02,邮箱:bd@zhuanzhi.ai),我们会尽快为您处理
相关内容
深度神经网络
关注
33
深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。
[ICML-Google]先宽后窄:对深度薄网络的有效训练
专知会员服务
34+阅读 · 2020年7月5日
【CVPR2020-Oral】用于深度网络的任务感知超参数
专知会员服务
26+阅读 · 2020年5月25日
【CMU】深度学习模型中集成优化、约束和控制,33页ppt
专知会员服务
45+阅读 · 2020年5月23日
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
25+阅读 · 2020年5月7日
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
28+阅读 · 2020年4月6日
【CVPR2020-Oral】用于任务感知的持续学习的条件信道门控网络
专知会员服务
20+阅读 · 2020年4月2日
【康奈尔大学-Facebook】特征归一化与数据增强,Feature Normalization
专知会员服务
55+阅读 · 2020年3月9日
重磅!Geoffrey Hinton新论文「视觉表示对比学习简单框架」自监督学习建立新SOTA-ImageNet准确率76.5%
专知会员服务
31+阅读 · 2020年2月15日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
27+阅读 · 2020年1月16日
【论文】深度学习的最优化:理论和算法(Optimization for deep learning: theory and algorithms)
专知会员服务
146+阅读 · 2019年12月28日
图神经网络火了?谈下它的普适性与局限性
机器之心
21+阅读 · 2019年7月29日
Nature 一周论文导读 | 2019 年 4 月 4 日
科研圈
7+阅读 · 2019年4月14日
Nature 一周论文导读 | 2019 年 2 月 21 日
科研圈
14+阅读 · 2019年3月3日
ResNet架构可逆!多大等提出性能优越的可逆残差网络
机器之心
5+阅读 · 2019年2月3日
已删除
将门创投
10+阅读 · 2018年5月2日
Nature 一周论文导读 | 2018 年 3 月 29 日
科研圈
12+阅读 · 2018年4月7日
面试整理:关于代价函数,正则化
数据挖掘入门与实战
8+阅读 · 2018年3月29日
深度学习中的五大正则化方法和七大优化策略
全球人工智能
11+阅读 · 2017年12月25日
【强化学习】「ICML教程」深度强化学习,决策与控制(117 PPT)
产业智能官
40+阅读 · 2017年8月11日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
26+阅读 · 2017年7月9日
Hyper-Parameter Optimization: A Review of Algorithms and Applications
Arxiv
16+阅读 · 2020年3月12日
Optimization for deep learning: theory and algorithms
Arxiv
104+阅读 · 2019年12月19日
Learning When Not to Answer: A Ternary Reward Structure for Reinforcement Learning based Question Answering
Arxiv
6+阅读 · 2019年4月3日
DeepTraffic: Crowdsourced Hyperparameter Tuning of Deep Reinforcement Learning Systems for Multi-Agent Dense Traffic Navigation
Arxiv
4+阅读 · 2019年1月3日
On Improving Decentralized Hysteretic Deep Reinforcement Learning
Arxiv
3+阅读 · 2018年12月15日
Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
Arxiv
4+阅读 · 2018年11月21日
Reinforcement Learning with Perturbed Rewards
Arxiv
3+阅读 · 2018年10月5日
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
Relational Deep Reinforcement Learning
Arxiv
10+阅读 · 2018年6月28日
HONE: Higher-Order Network Embeddings
Arxiv
12+阅读 · 2018年1月28日
VIP会员
自助开通(推荐)
客服开通
详情
相关主题
深度神经网络
梯度下降
相关VIP内容
[ICML-Google]先宽后窄:对深度薄网络的有效训练
专知会员服务
34+阅读 · 2020年7月5日
【CVPR2020-Oral】用于深度网络的任务感知超参数
专知会员服务
26+阅读 · 2020年5月25日
【CMU】深度学习模型中集成优化、约束和控制,33页ppt
专知会员服务
45+阅读 · 2020年5月23日
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
25+阅读 · 2020年5月7日
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
28+阅读 · 2020年4月6日
【CVPR2020-Oral】用于任务感知的持续学习的条件信道门控网络
专知会员服务
20+阅读 · 2020年4月2日
【康奈尔大学-Facebook】特征归一化与数据增强,Feature Normalization
专知会员服务
55+阅读 · 2020年3月9日
重磅!Geoffrey Hinton新论文「视觉表示对比学习简单框架」自监督学习建立新SOTA-ImageNet准确率76.5%
专知会员服务
31+阅读 · 2020年2月15日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
27+阅读 · 2020年1月16日
【论文】深度学习的最优化:理论和算法(Optimization for deep learning: theory and algorithms)
专知会员服务
146+阅读 · 2019年12月28日
热门VIP内容
开通专知VIP会员 享更多权益服务
【ETHZ博士论文】从视觉和语言中学习数字人,248页pdf
【AAAI2025】SAIL:面向样本的上下文学习用于文档信息提取
类O1复现项目数据和模型开源啦
李飞飞、谢赛宁新作「空间智能」 等探索多模态大模型性能
相关资讯
图神经网络火了?谈下它的普适性与局限性
机器之心
21+阅读 · 2019年7月29日
Nature 一周论文导读 | 2019 年 4 月 4 日
科研圈
7+阅读 · 2019年4月14日
Nature 一周论文导读 | 2019 年 2 月 21 日
科研圈
14+阅读 · 2019年3月3日
ResNet架构可逆!多大等提出性能优越的可逆残差网络
机器之心
5+阅读 · 2019年2月3日
已删除
将门创投
10+阅读 · 2018年5月2日
Nature 一周论文导读 | 2018 年 3 月 29 日
科研圈
12+阅读 · 2018年4月7日
面试整理:关于代价函数,正则化
数据挖掘入门与实战
8+阅读 · 2018年3月29日
深度学习中的五大正则化方法和七大优化策略
全球人工智能
11+阅读 · 2017年12月25日
【强化学习】「ICML教程」深度强化学习,决策与控制(117 PPT)
产业智能官
40+阅读 · 2017年8月11日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
26+阅读 · 2017年7月9日
相关论文
Hyper-Parameter Optimization: A Review of Algorithms and Applications
Arxiv
16+阅读 · 2020年3月12日
Optimization for deep learning: theory and algorithms
Arxiv
104+阅读 · 2019年12月19日
Learning When Not to Answer: A Ternary Reward Structure for Reinforcement Learning based Question Answering
Arxiv
6+阅读 · 2019年4月3日
DeepTraffic: Crowdsourced Hyperparameter Tuning of Deep Reinforcement Learning Systems for Multi-Agent Dense Traffic Navigation
Arxiv
4+阅读 · 2019年1月3日
On Improving Decentralized Hysteretic Deep Reinforcement Learning
Arxiv
3+阅读 · 2018年12月15日
Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
Arxiv
4+阅读 · 2018年11月21日
Reinforcement Learning with Perturbed Rewards
Arxiv
3+阅读 · 2018年10月5日
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
Relational Deep Reinforcement Learning
Arxiv
10+阅读 · 2018年6月28日
HONE: Higher-Order Network Embeddings
Arxiv
12+阅读 · 2018年1月28日
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top