在数学和计算机代数中,自动微分有时称作演算式微分,是一种可以借由计算机程序计算一个函数导数的方法。两种传统做微分的方法为:(1)对一个函数的表示式做符号上的微分,并且计算其在某一点上的值。(2)使用差分。使用符号微分最主要的缺点是速度慢及将计算机程序转换成表示式的困难。此外,很多函数在要计算更高阶微分时会变得复杂。 使用差分的两个重要的缺点是舍弃误差及数值化过程和相消误差。此两者传统方法在计算更高阶微分时,都有复杂度及误差增加的问题。自动微分则解决上述的问题。
PyTorch 官方推荐了一份 60 分钟的深度学习指南
技术最前线
20+阅读 · 2019年10月17日
2019最新-UC Berkeley-《深度学习入门课程》分享
深度学习与NLP
13+阅读 · 2019年3月1日
进展 | 张量网络的微分编程
中科院物理所
6+阅读 · 2019年9月22日
PyTorch经验指南:技巧与陷阱
数盟
0+阅读 · 2018年7月31日
Jax 生态再添新库:DeepMind 开源 Haiku、RLax
机器之心
0+阅读 · 2020年2月23日
谈谈自动微分(Automatic Differentiation)
PaperWeekly
1+阅读 · 2022年1月3日
从张量到自动微分:PyTorch入门教程
论智
9+阅读 · 2018年10月10日
【论文】ICLR 2020 九篇满分论文!!!
深度学习自然语言处理
0+阅读 · 2020年2月3日
MIT开源高性能自动微分框架Enzyme:速度提升4.5倍
参考链接
微信扫码咨询专知VIP会员