反向传播一词严格来说仅指用于计算梯度的算法,而不是指如何使用梯度。但是该术语通常被宽松地指整个学习算法,包括如何使用梯度,例如通过随机梯度下降。反向传播将增量计算概括为增量规则中的增量规则,该规则是反向传播的单层版本,然后通过自动微分进行广义化,其中反向传播是反向累积(或“反向模式”)的特例。 在机器学习中,反向传播(backprop)是一种广泛用于训练前馈神经网络以进行监督学习的算法。对于其他人工神经网络(ANN)都存在反向传播的一般化–一类算法,通常称为“反向传播”。反向传播算法的工作原理是,通过链规则计算损失函数相对于每个权重的梯度,一次计算一层,从最后一层开始向后迭代,以避免链规则中中间项的冗余计算。
胶囊网络:将CNN推下神坛的“天命之子”
计算机视觉life
5+阅读 · 2019年6月28日
CNN 反向传播算法推导
统计学习与视觉计算组
27+阅读 · 2017年12月29日
硬核NeruIPS 2018最佳论文,一个神经了的常微分方程
成果解读 | “自组织”让“电老虎”少吃多干
中国科学院自动化研究所
0+阅读 · 2021年11月10日
一份帮助你更好地理解深度学习的资源清单
极市平台
0+阅读 · 2018年7月30日
博客 | TensorFlow系列专题(三):深度学习简介
AI研习社
6+阅读 · 2018年11月13日
博客 | Tensorflow系列专题(五):BP算法原理
AI研习社
4+阅读 · 2018年11月22日
微信扫码咨询专知VIP会员