自动微分(Automatic Differentiation,简称AD)也称自动求导,算法能够计算可导函数在某点处的导数值的计算,是反向传播算法的一般化。自动微分要解决的核心问题是计算复杂函数,通常是多层复合函数在某一点处的导数,梯度,以及Hessian矩阵值。它对用户屏蔽了繁琐的求导细节和过程。目前知名的深度学习开源库均提供了自动微分的功能,包括TensorFlow、pytorch等。

http://mblondel.org/teaching/autodiff-2020.pdf

成为VIP会员查看完整内容
20

相关内容

专知会员服务
140+阅读 · 2020年11月23日
最新《序列预测问题导论》教程,212页ppt
专知会员服务
70+阅读 · 2020年8月22日
迁移学习简明教程,11页ppt
专知会员服务
91+阅读 · 2020年8月4日
最新《自动微分手册》77页pdf
专知会员服务
78+阅读 · 2020年6月6日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
89+阅读 · 2020年5月15日
深度强化学习策略梯度教程,53页ppt
专知会员服务
137+阅读 · 2020年2月1日
【ICIP2019教程-NVIDIA】图像到图像转换,附7份PPT下载
专知会员服务
50+阅读 · 2019年11月20日
下载 | Pytorch最新教程【PDF】
机器学习算法与Python学习
4+阅读 · 2018年11月18日
Pytorch作者Adam Paszke-53页Pytorch教程PPT
专知
32+阅读 · 2018年10月27日
从张量到自动微分:PyTorch入门教程
论智
7+阅读 · 2018年10月10日
教程 | PyTorch经验指南:技巧与陷阱
机器之心
11+阅读 · 2018年7月30日
深度学习线性代数简明教程
论智
9+阅读 · 2018年5月30日
【干货】理解深度学习中的矩阵运算
专知
10+阅读 · 2018年2月12日
TensorFlow神经网络教程
Python程序员
3+阅读 · 2017年12月4日
送你一份深度学习资源&教程!
THU数据派
13+阅读 · 2017年11月30日
最新TensorFlow1.4.0教程完整版
专知
21+阅读 · 2017年11月6日
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Arxiv
4+阅读 · 2019年1月14日
Arxiv
5+阅读 · 2017年12月7日
VIP会员
相关主题
相关VIP内容
专知会员服务
140+阅读 · 2020年11月23日
最新《序列预测问题导论》教程,212页ppt
专知会员服务
70+阅读 · 2020年8月22日
迁移学习简明教程,11页ppt
专知会员服务
91+阅读 · 2020年8月4日
最新《自动微分手册》77页pdf
专知会员服务
78+阅读 · 2020年6月6日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
89+阅读 · 2020年5月15日
深度强化学习策略梯度教程,53页ppt
专知会员服务
137+阅读 · 2020年2月1日
【ICIP2019教程-NVIDIA】图像到图像转换,附7份PPT下载
专知会员服务
50+阅读 · 2019年11月20日
相关资讯
下载 | Pytorch最新教程【PDF】
机器学习算法与Python学习
4+阅读 · 2018年11月18日
Pytorch作者Adam Paszke-53页Pytorch教程PPT
专知
32+阅读 · 2018年10月27日
从张量到自动微分:PyTorch入门教程
论智
7+阅读 · 2018年10月10日
教程 | PyTorch经验指南:技巧与陷阱
机器之心
11+阅读 · 2018年7月30日
深度学习线性代数简明教程
论智
9+阅读 · 2018年5月30日
【干货】理解深度学习中的矩阵运算
专知
10+阅读 · 2018年2月12日
TensorFlow神经网络教程
Python程序员
3+阅读 · 2017年12月4日
送你一份深度学习资源&教程!
THU数据派
13+阅读 · 2017年11月30日
最新TensorFlow1.4.0教程完整版
专知
21+阅读 · 2017年11月6日
微信扫码咨询专知VIP会员