This paper is an attempt to explain all the matrix calculus you need in order to understand the training of deep neural networks. We assume no math knowledge beyond what you learned in calculus 1, and provide links to help you refresh the necessary math where needed. Note that you do not need to understand this material before you start learning to train and use deep learning in practice; rather, this material is for those who are already familiar with the basics of neural networks, and wish to deepen their understanding of the underlying math. Don't worry if you get stuck at some point along the way---just go back and reread the previous section, and try writing down and working through some examples. And if you're still stuck, we're happy to answer your questions in the Theory category at forums.fast.ai. Note: There is a reference section at the end of the paper summarizing all the key matrix calculus rules and terminology discussed here. See related articles at http://explained.ai


翻译:本文试图解释您需要的所有矩阵积分, 以便理解深神经网络的训练。 我们假设除了您在微积分1中学到的知识之外没有数学知识, 并且提供链接, 帮助您在需要的地方刷新必要的数学。 请注意, 您在开始学习之前不需要理解这个材料来培训和运用深层次的实践中的学习; 相反, 此材料是针对那些已经熟悉神经网络基础知识的人的, 并且希望加深他们对基本数学的理解 。 不要担心您会停留在前一节的某个点 -- -- 只需回去重新阅读上一节, 并尝试写下来和通过一些实例来工作。 如果您仍然坚持, 我们很乐意在论坛. fast. ai 回答您在Theory类别中的问题 。 注意: 本文结尾处有一个参考部分, 概述了这里讨论的所有关键矩阵积分规则和术语 。 见 http:// explainedai 上的相关文章 。

12
下载
关闭预览

相关内容

【干货书】真实机器学习,264页pdf,Real-World Machine Learning
深度强化学习策略梯度教程,53页ppt
专知会员服务
177+阅读 · 2020年2月1日
【课程推荐】 深度学习中的几何(Geometry of Deep Learning)
专知会员服务
55+阅读 · 2019年11月10日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
144+阅读 · 2019年10月12日
开源书:PyTorch深度学习起步
专知会员服务
49+阅读 · 2019年10月11日
强化学习最新教程,17页pdf
专知会员服务
168+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
90+阅读 · 2019年10月10日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
机器学习线性代数速查
机器学习研究会
18+阅读 · 2018年2月25日
Python机器学习教程资料/代码
机器学习研究会
8+阅读 · 2018年2月22日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
【推荐】用Python/OpenCV实现增强现实
机器学习研究会
14+阅读 · 2017年11月16日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】树莓派/OpenCV/dlib人脸定位/瞌睡检测
机器学习研究会
9+阅读 · 2017年10月24日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
【推荐】TensorFlow手把手CNN实践指南
机器学习研究会
5+阅读 · 2017年8月17日
Arxiv
43+阅读 · 2019年12月20日
Arxiv
22+阅读 · 2019年11月24日
A Comprehensive Survey on Transfer Learning
Arxiv
117+阅读 · 2019年11月7日
The Measure of Intelligence
Arxiv
6+阅读 · 2019年11月5日
Visualizing and Measuring the Geometry of BERT
Arxiv
7+阅读 · 2019年10月28日
Arxiv
18+阅读 · 2019年1月16日
Arxiv
4+阅读 · 2018年10月31日
Arxiv
6+阅读 · 2018年1月11日
VIP会员
相关VIP内容
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
深度强化学习策略梯度教程,53页ppt
专知会员服务
177+阅读 · 2020年2月1日
【课程推荐】 深度学习中的几何(Geometry of Deep Learning)
专知会员服务
55+阅读 · 2019年11月10日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
144+阅读 · 2019年10月12日
开源书:PyTorch深度学习起步
专知会员服务
49+阅读 · 2019年10月11日
强化学习最新教程,17页pdf
专知会员服务
168+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
90+阅读 · 2019年10月10日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
机器学习线性代数速查
机器学习研究会
18+阅读 · 2018年2月25日
Python机器学习教程资料/代码
机器学习研究会
8+阅读 · 2018年2月22日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
【推荐】用Python/OpenCV实现增强现实
机器学习研究会
14+阅读 · 2017年11月16日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】树莓派/OpenCV/dlib人脸定位/瞌睡检测
机器学习研究会
9+阅读 · 2017年10月24日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
【推荐】TensorFlow手把手CNN实践指南
机器学习研究会
5+阅读 · 2017年8月17日
相关论文
Arxiv
43+阅读 · 2019年12月20日
Arxiv
22+阅读 · 2019年11月24日
A Comprehensive Survey on Transfer Learning
Arxiv
117+阅读 · 2019年11月7日
The Measure of Intelligence
Arxiv
6+阅读 · 2019年11月5日
Visualizing and Measuring the Geometry of BERT
Arxiv
7+阅读 · 2019年10月28日
Arxiv
18+阅读 · 2019年1月16日
Arxiv
4+阅读 · 2018年10月31日
Arxiv
6+阅读 · 2018年1月11日
Top
微信扫码咨询专知VIP会员