【经典】深度学习数学宝典《深度学习所需要的矩阵微积分》

本文是由Terence Parr 和Jeremy Howard撰写的《深度学习的矩阵运算》论文。我们知道，深度学习是基于线性代数和微积分的，反向传播也离不开求导和矩阵运算，因此了解深度学习内部的数学原理也至关重要。

1.介绍

2.向量演算和偏导简介

3.矩阵演算

• 雅可比定律

• 多元微分

• 向量

• 链式法则

4.损失函数求导

5.矩阵演算参考

6.符号

7.资源链接

本文从简单函数求导到多元函数求偏导，再到矩阵的微积分运算，逐层深入，引导我们探索深度学习背后的学习规则与数学基础。本文试图解释理解深度神经网络的训练所需要的所有矩阵演算，本文适用于对神经网络基础有所了解的人，不过即使没有数学基础的同学也不要紧，作者提供了相关数学知识链接。在文末作者提供的参考部分，总结了这里讨论的所有关键矩阵演算规则和术语。