会员服务
人工智能 · 深度学习 · 优化 ·
2020 年 1 月 13 日
【AdaMod】一个新的深度学习优化与记忆（Meet AdaMod: a new deep learning optimizer with memory）
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

主题： Meet AdaMod: a new deep learning optimizer with memory

简介： AdaMod是一个新的深度学习优化器，它建立在Adam的基础上，但提供了一个自动预热启发式和长期学习率缓冲。从最初的测试来看，AdaMod是一个前5名的优化器，它很容易击败或超过vanilla Adam，同时对学习率超参数不太敏感，训练曲线更平滑，不需要热身模式。

成为VIP会员查看完整内容
https://medium.com/@lessw/meet-adamod-a-new-deep-learning-optimizer-with-memory-f01e831b80bd
14

相关内容

人工智能(Artificial Intelligence, AI )是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支。
【CMU博士论文】用动态超参数优化改进深度学习训练和推理，Improving Deep Learning Training and Inference with Dynamic Hyperparameter Optimization
【CMU博士论文】用动态超参数优化改进深度学习训练和推理，Improving Deep Learning Training and Inference with Dynamic Hyperparameter Optimization
专知会员服务
54+阅读 · 2020年5月26日
最新《机器学习最优化》课程笔记，36页pdf，Optimization for Machine Learning
专知会员服务
168+阅读 · 2020年5月10日
【干货书】Python深度学习第二版，Deep Learning with Python, Second Edition
【干货书】Python深度学习第二版，Deep Learning with Python, Second Edition
专知会员服务
162+阅读 · 2020年5月9日
【经典书】深度学习，532页pdf，Deep Learning - A Practitioner's Approach
【经典书】深度学习，532页pdf，Deep Learning - A Practitioner's Approach
专知会员服务
132+阅读 · 2020年4月3日
【斯坦福大学】Dropout的隐性和显性正则化效应，Regularization Effects
【斯坦福大学】Dropout的隐性和显性正则化效应，Regularization Effects
专知会员服务
33+阅读 · 2020年3月4日
【谷歌大脑新论文】利用可微摄动优化器进行学习，Learning with Differentiable Perturbed Optimizers
【谷歌大脑新论文】利用可微摄动优化器进行学习，Learning with Differentiable Perturbed Optimizers
专知会员服务
28+阅读 · 2020年2月22日
【新书】MATLAB深度学习与机器学习、神经网络和人工智能（MATLAB Deep Learning With Machine Learning, Neural Networks and Artificial Intelligence），162页pdf，
【新书】MATLAB深度学习与机器学习、神经网络和人工智能（MATLAB Deep Learning With Machine Learning, Neural Networks and Artificial Intelligence），162页pdf，
专知会员服务
89+阅读 · 2020年1月13日
MATLAB玩转深度学习？新书「MATLAB Deep Learning」162页pdf
MATLAB玩转深度学习？新书「MATLAB Deep Learning」162页pdf
专知会员服务
99+阅读 · 2020年1月13日
【ICCV 2019】贝叶斯优化的1-Bit CNNs 《Bayesian Optimized 1-Bit CNNs》
【ICCV 2019】贝叶斯优化的1-Bit CNNs 《Bayesian Optimized 1-Bit CNNs》
专知会员服务
15+阅读 · 2019年11月17日
【DLBM-SS暑期课程】深度学习与贝叶斯方法 Deep Learning and Bayesian Methods
【DLBM-SS暑期课程】深度学习与贝叶斯方法 Deep Learning and Bayesian Methods
专知会员服务
66+阅读 · 2019年11月10日
深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
极市平台
21+阅读 · 2019年9月5日
深度学习优化算法总结(SGD,AdaGrad,Adam等)
深度学习优化算法总结(SGD,AdaGrad,Adam等)
极市平台
34+阅读 · 2019年4月30日
介绍高维超参数调整 - 优化ML模型的最佳实践
介绍高维超参数调整 - 优化ML模型的最佳实践
AI研习社
7+阅读 · 2019年4月17日
7个实用的深度学习技巧
7个实用的深度学习技巧
机器学习算法与Python学习
16+阅读 · 2019年3月6日
你真的懂时间序列预测吗？
你真的懂时间序列预测吗？
腾讯大讲堂
104+阅读 · 2019年1月7日
基于LSTM深层神经网络的时间序列预测
基于LSTM深层神经网络的时间序列预测
论智
21+阅读 · 2018年9月4日
Hierarchical Imitation - Reinforcement Learning
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
深度学习基础之LSTM
深度学习基础之LSTM
全球人工智能
28+阅读 · 2017年12月18日
【下载】深度学习DL4j实战指南《Deep Learning—A Practitioner's Approach》
【下载】深度学习DL4j实战指南《Deep Learning—A Practitioner's Approach》
专知
48+阅读 · 2017年12月9日
CNN超参数优化和可视化技巧详解
CNN超参数优化和可视化技巧详解
量子位
4+阅读 · 2017年7月15日
Do RNN and LSTM have Long Memory?
Do RNN and LSTM have Long Memory?
Arxiv
19+阅读 · 2020年6月10日
Meta-Learning with Implicit Gradients
Meta-Learning with Implicit Gradients
Arxiv
13+阅读 · 2019年9月10日
Accelerated Methods for Deep Reinforcement Learning
Accelerated Methods for Deep Reinforcement Learning
Arxiv
6+阅读 · 2019年1月10日
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
Arxiv
8+阅读 · 2018年11月21日
Hierarchical Deep Multiagent Reinforcement Learning
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
Learn What Not to Learn: Action Elimination with Deep Reinforcement Learning
Learn What Not to Learn: Action Elimination with Deep Reinforcement Learning
Arxiv
5+阅读 · 2018年9月6日
Improving Online Multiple Object tracking with Deep Metric Learning
Arxiv
7+阅读 · 2018年6月20日
Learning to Update for Object Tracking
Arxiv
8+阅读 · 2018年6月19日
Online Deep Metric Learning
Arxiv
8+阅读 · 2018年5月15日
SpectralLeader: Online Spectral Learning for Single Topic Models
Arxiv
4+阅读 · 2018年2月16日
VIP会员
相关主题
人工智能
深度学习
优化
相关VIP内容
【CMU博士论文】用动态超参数优化改进深度学习训练和推理，Improving Deep Learning Training and Inference with Dynamic Hyperparameter Optimization
【CMU博士论文】用动态超参数优化改进深度学习训练和推理，Improving Deep Learning Training and Inference with Dynamic Hyperparameter Optimization
专知会员服务
54+阅读 · 2020年5月26日
最新《机器学习最优化》课程笔记，36页pdf，Optimization for Machine Learning
专知会员服务
168+阅读 · 2020年5月10日
【干货书】Python深度学习第二版，Deep Learning with Python, Second Edition
【干货书】Python深度学习第二版，Deep Learning with Python, Second Edition
专知会员服务
162+阅读 · 2020年5月9日
【经典书】深度学习，532页pdf，Deep Learning - A Practitioner's Approach
【经典书】深度学习，532页pdf，Deep Learning - A Practitioner's Approach
专知会员服务
132+阅读 · 2020年4月3日
【斯坦福大学】Dropout的隐性和显性正则化效应，Regularization Effects
【斯坦福大学】Dropout的隐性和显性正则化效应，Regularization Effects
专知会员服务
33+阅读 · 2020年3月4日
【谷歌大脑新论文】利用可微摄动优化器进行学习，Learning with Differentiable Perturbed Optimizers
【谷歌大脑新论文】利用可微摄动优化器进行学习，Learning with Differentiable Perturbed Optimizers
专知会员服务
28+阅读 · 2020年2月22日
【新书】MATLAB深度学习与机器学习、神经网络和人工智能（MATLAB Deep Learning With Machine Learning, Neural Networks and Artificial Intelligence），162页pdf，
【新书】MATLAB深度学习与机器学习、神经网络和人工智能（MATLAB Deep Learning With Machine Learning, Neural Networks and Artificial Intelligence），162页pdf，
专知会员服务
89+阅读 · 2020年1月13日
MATLAB玩转深度学习？新书「MATLAB Deep Learning」162页pdf
MATLAB玩转深度学习？新书「MATLAB Deep Learning」162页pdf
专知会员服务
99+阅读 · 2020年1月13日
【ICCV 2019】贝叶斯优化的1-Bit CNNs 《Bayesian Optimized 1-Bit CNNs》
【ICCV 2019】贝叶斯优化的1-Bit CNNs 《Bayesian Optimized 1-Bit CNNs》
专知会员服务
15+阅读 · 2019年11月17日
【DLBM-SS暑期课程】深度学习与贝叶斯方法 Deep Learning and Bayesian Methods
【DLBM-SS暑期课程】深度学习与贝叶斯方法 Deep Learning and Bayesian Methods
专知会员服务
66+阅读 · 2019年11月10日
热门VIP内容
相关资讯
深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
极市平台
21+阅读 · 2019年9月5日
深度学习优化算法总结(SGD,AdaGrad,Adam等)
深度学习优化算法总结(SGD,AdaGrad,Adam等)
极市平台
34+阅读 · 2019年4月30日
介绍高维超参数调整 - 优化ML模型的最佳实践
介绍高维超参数调整 - 优化ML模型的最佳实践
AI研习社
7+阅读 · 2019年4月17日
7个实用的深度学习技巧
7个实用的深度学习技巧
机器学习算法与Python学习
16+阅读 · 2019年3月6日
你真的懂时间序列预测吗？
你真的懂时间序列预测吗？
腾讯大讲堂
104+阅读 · 2019年1月7日
基于LSTM深层神经网络的时间序列预测
基于LSTM深层神经网络的时间序列预测
论智
21+阅读 · 2018年9月4日
Hierarchical Imitation - Reinforcement Learning
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
深度学习基础之LSTM
深度学习基础之LSTM
全球人工智能
28+阅读 · 2017年12月18日
【下载】深度学习DL4j实战指南《Deep Learning—A Practitioner's Approach》
【下载】深度学习DL4j实战指南《Deep Learning—A Practitioner's Approach》
专知
48+阅读 · 2017年12月9日
CNN超参数优化和可视化技巧详解
CNN超参数优化和可视化技巧详解
量子位
4+阅读 · 2017年7月15日
相关论文
Do RNN and LSTM have Long Memory?
Do RNN and LSTM have Long Memory?
Arxiv
19+阅读 · 2020年6月10日
Meta-Learning with Implicit Gradients
Meta-Learning with Implicit Gradients
Arxiv
13+阅读 · 2019年9月10日
Accelerated Methods for Deep Reinforcement Learning
Accelerated Methods for Deep Reinforcement Learning
Arxiv
6+阅读 · 2019年1月10日
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
Arxiv
8+阅读 · 2018年11月21日
Hierarchical Deep Multiagent Reinforcement Learning
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
Learn What Not to Learn: Action Elimination with Deep Reinforcement Learning
Learn What Not to Learn: Action Elimination with Deep Reinforcement Learning
Arxiv
5+阅读 · 2018年9月6日
Improving Online Multiple Object tracking with Deep Metric Learning
Arxiv
7+阅读 · 2018年6月20日
Learning to Update for Object Tracking
Arxiv
8+阅读 · 2018年6月19日
Online Deep Metric Learning
Arxiv
8+阅读 · 2018年5月15日
SpectralLeader: Online Spectral Learning for Single Topic Models
Arxiv
4+阅读 · 2018年2月16日
微信扫码咨询专知VIP会员
Top