会员服务
反向传播一词严格来说仅指用于计算梯度的算法，而不是指如何使用梯度。但是该术语通常被宽松地指整个学习算法，包括如何使用梯度，例如通过随机梯度下降。反向传播将增量计算概括为增量规则中的增量规则，该规则是反向传播的单层版本，然后通过自动微分进行广义化，其中反向传播是反向累积（或“反向模式”）的特例。 在机器学习中，反向传播（backprop）是一种广泛用于训练前馈神经网络以进行监督学习的算法。对于其他人工神经网络（ANN）都存在反向传播的一般化–一类算法，通常称为“反向传播”。反向传播算法的工作原理是，通过链规则计算损失函数相对于每个权重的梯度，一次计算一层，从最后一层开始向后迭代，以避免链规则中中间项的冗余计算。
Fast constrained sampling in pre-trained diffusion models
Arxiv
0+阅读 · 10月6日
Bayesian Test-time Adaptation for Object Recognition and Detection with Vision-language Models
Arxiv
0+阅读 · 10月3日
Scaling Equilibrium Propagation to Deeper Neural Network Architectures
Arxiv
0+阅读 · 9月30日
End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost
Arxiv
0+阅读 · 9月29日
ePC: Overcoming Exponential Signal Decay in Deep Predictive Coding Networks
Arxiv
0+阅读 · 9月29日
BASE-Q: Bias and Asymmetric Scaling Enhanced Rotational Quantization for Large Language Models
Arxiv
0+阅读 · 8月29日
$μ$PC: Scaling Predictive Coding to 100+ Layer Networks
Arxiv
0+阅读 · 5月19日
Distributed Deep Learning using Stochastic Gradient Staleness
Arxiv
0+阅读 · 9月6日
ShortFT: Diffusion Model Alignment via Shortcut-based Fine-Tuning
Arxiv
0+阅读 · 7月30日
Predictive Coding-based Deep Neural Network Fine-tuning for Computationally Efficient Domain Adaptation
Arxiv
0+阅读 · 9月24日
Predictive Coding-based Deep Neural Network Fine-tuning for Computationally Efficient Domain Adaptation
Arxiv
0+阅读 · 9月25日
Lagrangian-based Equilibrium Propagation: generalisation to arbitrary boundary conditions & equivalence with Hamiltonian Echo Learning
Arxiv
0+阅读 · 6月6日
A neural network machine-learning approach for characterising hydrogen trapping parameters from TDS experiments
Arxiv
0+阅读 · 8月5日
A New Twist on Low-Complexity Digital Backpropagation
Arxiv
0+阅读 · 4月2日
Exploring Scene Affinity for Semi-Supervised LiDAR Semantic Segmentation
Arxiv
0+阅读 · 4月1日
参考链接
父主题
机器学习
数据挖掘
神经网络
子主题
梯度消失与爆炸问题
微信扫码咨询专知VIP会员
Top