最新《自动微分》综述教程,71页ppt

2020 年 11 月 22 日 专知

自动微分(Automatic Differentiation,简称AD)也称自动求导,算法能够计算可导函数在某点处的导数值的计算,是反向传播算法的一般化。自动微分要解决的核心问题是计算复杂函数,通常是多层复合函数在某一点处的导数,梯度,以及Hessian矩阵值。它对用户屏蔽了繁琐的求导细节和过程。目前知名的深度学习开源库均提供了自动微分的功能,包括TensorFlow、pytorch等。


http://mblondel.org/teaching/autodiff-2020.pdf



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“AD71” 就可以获取最新《自动微分》综述教程,71页ppt》专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
0

相关内容

在数学和计算机代数中,自动微分有时称作演算式微分,是一种可以借由计算机程序计算一个函数导数的方法。两种传统做微分的方法为:(1)对一个函数的表示式做符号上的微分,并且计算其在某一点上的值。(2)使用差分。使用符号微分最主要的缺点是速度慢及将计算机程序转换成表示式的困难。此外,很多函数在要计算更高阶微分时会变得复杂。 使用差分的两个重要的缺点是舍弃误差及数值化过程和相消误差。此两者传统方法在计算更高阶微分时,都有复杂度及误差增加的问题。自动微分则解决上述的问题。
【普林斯顿】机器学习数学视角,63页ppt
专知会员服务
88+阅读 · 2020年11月6日
【PKDD2020教程】机器学习不确定性,附88页ppt与视频
专知会员服务
95+阅读 · 2020年10月18日
【DeepMind】强化学习教程,83页ppt
专知会员服务
154+阅读 · 2020年8月7日
迁移学习简明教程,11页ppt
专知会员服务
108+阅读 · 2020年8月4日
基于深度学习的图像分析技术,116页ppt
专知会员服务
58+阅读 · 2020年7月17日
最新《生成式对抗网络》简介,25页ppt
专知会员服务
174+阅读 · 2020年6月28日
最新《自动微分手册》77页pdf
专知会员服务
102+阅读 · 2020年6月6日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
173+阅读 · 2020年5月6日
最新《图理论》笔记书,98页pdf
专知
51+阅读 · 2020年12月27日
Pytorch作者Adam Paszke-53页Pytorch教程PPT
专知
34+阅读 · 2018年10月27日
【微软亚研130PPT教程】强化学习简介
专知
36+阅读 · 2018年10月26日
最新TensorFlow1.4.0教程完整版
专知
21+阅读 · 2017年11月6日
Arxiv
15+阅读 · 2019年4月4日
One-Shot Federated Learning
Arxiv
9+阅读 · 2019年3月5日
Arxiv
8+阅读 · 2018年5月1日
Arxiv
4+阅读 · 2018年4月26日
Arxiv
6+阅读 · 2017年12月7日
VIP会员
相关VIP内容
【普林斯顿】机器学习数学视角,63页ppt
专知会员服务
88+阅读 · 2020年11月6日
【PKDD2020教程】机器学习不确定性,附88页ppt与视频
专知会员服务
95+阅读 · 2020年10月18日
【DeepMind】强化学习教程,83页ppt
专知会员服务
154+阅读 · 2020年8月7日
迁移学习简明教程,11页ppt
专知会员服务
108+阅读 · 2020年8月4日
基于深度学习的图像分析技术,116页ppt
专知会员服务
58+阅读 · 2020年7月17日
最新《生成式对抗网络》简介,25页ppt
专知会员服务
174+阅读 · 2020年6月28日
最新《自动微分手册》77页pdf
专知会员服务
102+阅读 · 2020年6月6日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
173+阅读 · 2020年5月6日
相关论文
Arxiv
15+阅读 · 2019年4月4日
One-Shot Federated Learning
Arxiv
9+阅读 · 2019年3月5日
Arxiv
8+阅读 · 2018年5月1日
Arxiv
4+阅读 · 2018年4月26日
Arxiv
6+阅读 · 2017年12月7日
Top
微信扫码咨询专知VIP会员