Minimizing cross-entropy is a widely used method for training artificial neural networks. Many training procedures based on backpropagation use cross-entropy directly as their loss function. Instead, this theoretical essay investigates a dual process model with two processes, in which one process minimizes the Kullback-Leibler divergence while its dual counterpart minimizes the Shannon entropy. Postulating that learning consists of two dual processes complementing each other, the model defines an equilibrium state for both processes in which the loss function assumes its minimum. An advantage of the proposed model is that it allows deriving the optimal learning rate and momentum weight to update network weights for backpropagation. Furthermore, the model introduces the golden ratio and complex numbers as important new concepts in machine learning.


翻译:尽量减少交叉孔径是培训人工神经网络的一种广泛使用的方法。许多基于后向传播的培训程序直接使用交叉孔径作为损失功能。相反,本理论论文对两种过程的双重过程模式进行了调查,其中一种过程最大限度地缩小了Kullback-Lebeler的差异,而另一种过程的双重对手则尽量减少了香农的恒温。假设学习包括两个相辅相成的双重过程,该模型为两种过程确定了一种平衡状态,两种过程的损失功能都承担了最低限度。拟议模式的一个优点是,它能够得出最佳学习率和动力重量,以更新网络重量,用于后向传播。此外,该模型还引入黄金比率和复杂数字,作为机器学习中的重要新概念。

0
下载
关闭预览

相关内容

Processing 是一门开源编程语言和与之配套的集成开发环境(IDE)的名称。Processing 在电子艺术和视觉设计社区被用来教授编程基础,并运用于大量的新媒体和互动艺术作品中。
专知会员服务
14+阅读 · 2021年5月21日
专知会员服务
47+阅读 · 2021年4月24日
专知会员服务
115+阅读 · 2019年12月24日
BERT 瘦身之路:Distillation,Quantization,Pruning
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年6月12日
Arxiv
0+阅读 · 2021年6月11日
Arxiv
0+阅读 · 2021年4月29日
Arxiv
5+阅读 · 2017年12月29日
VIP会员
相关资讯
BERT 瘦身之路:Distillation,Quantization,Pruning
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员