推荐一些有助于理解TensorFlow机制的资料(二)

2018 年 5 月 11 日 专知 HuJun

导读:本文推荐了一些对深入理解TensorFlow非常有帮助的资料。通过阅读这些资料,可以帮助你理解TensorFlow的实现机制以及一些高级技巧。本文是该系列的第二篇,后续还会持续推荐一些与TensorFlow相关的精品资料。



官方API——利用Python自定义Operation

链接:https://www.tensorflow.org/api_docs/python/tf/py_func

该API使得用户可以利用Python定义TensorFlow的Operation,但缺点在于这样定义的Operation只能在CPU上运行,因此在计算中,一般不采用py_func来自定义操作,取而代之的是现有Operation的组合或用C++自定义的Operation。但是,py_func在数据读取中仍起到很大的作用,在使用tf.data API进行输入导入时,数据的读取也是由Operation定义的,数据的读取与业务相关,需要大量的自定义操作,且不依赖GPU,py_func是一个不错的选择。



官方教程——利用C++自定义Operation

链接:https://www.tensorflow.org/extend/adding_an_op

该教程介绍如何通过C++自定义一个TensorFlow Operation,虽然TensorFlow提供的Operation可以完成大部分的功能,但仍有一小部分操作需要通过使用C++自定义Operation来实现。自定义TensorFlow Operation是一件比较繁琐的事情,一方面,C++ Operation的定义、编译等需要额外的编译器,且自定义的Operaiton需要通过代码进行注册,另一方面,CPU版和GPU版的代码是不同的。具体细节可在链接中查看。




官方教程——分布式TensorFlow

链接:https://www.tensorflow.org/deploy/distributed

该教程提供了使用分布式TensorFlow的方法及模型。TensorFlow并不能做到一键式分布式计算,而是需要经过选择分布式模型、根据分布式模型重新设计并修改代码等繁琐的步骤,希望使用分布式TensorFlow的朋友建议详细阅读该教程。



Eigen——TensorFlow依赖的CPU矩阵运算库

链接:http://eigen.tuxfamily.org

TensorFlow等大部分深度学习框架往往都依赖于一个深度优化的矩阵运算库来完成CPU上的矩阵运算,例如Eigen、OpenBlas、MKL等,这些矩阵运算库大多经过多年的深度优化,且其中一些库在特殊型号的CPU上还有特殊的优化。TensorFlow选择Eigen作为CPU上的矩阵运算库,学习Eigen可以加深对TensorFlow底层计算的理解。



更多教程资料请访问:专知AI会员计划

-END-

专 · 知

人工智能领域主题知识资料查看与加入专知人工智能服务群

【专知AI服务计划】专知AI知识技术服务会员群加入人工智能领域26个主题知识资料全集获取

[点击上面图片加入会员]

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请加专知小助手微信(扫一扫如下二维码添加),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG等)交流~

关注专知公众号,获取人工智能的专业知识!

点击“阅读原文”,使用专知

登录查看更多
4

相关内容

Google发布的第二代深度学习系统TensorFlow
算法与数据结构Python,369页pdf
专知会员服务
161+阅读 · 2020年3月4日
【新书】Pro 机器学习算法Python实现,379页pdf
专知会员服务
198+阅读 · 2020年2月11日
TensorFlow Lite指南实战《TensorFlow Lite A primer》,附48页PPT
专知会员服务
69+阅读 · 2020年1月17日
TensorFlow 2.0如何在Colab中使用TensorBoard
专知
17+阅读 · 2019年3月15日
官方解读:TensorFlow 2.0 新的功能特性
云头条
3+阅读 · 2019年1月23日
这是我看过解释TensorFlow最透彻的文章!
AI前线
6+阅读 · 2018年6月27日
TensorFlow 相关论文与研究汇总
云栖社区
4+阅读 · 2018年1月7日
终于!TensorFlow引入了动态图机制Eager Execution
深度学习世界
5+阅读 · 2017年11月1日
独家 | 一文读懂TensorFlow(附代码、学习资料)
数据派THU
3+阅读 · 2017年10月12日
The Matrix Calculus You Need For Deep Learning
Arxiv
12+阅读 · 2018年7月2日
Arxiv
6+阅读 · 2018年2月7日
Arxiv
10+阅读 · 2018年2月4日
Arxiv
6+阅读 · 2018年1月11日
Arxiv
27+阅读 · 2017年12月6日
VIP会员
相关资讯
TensorFlow 2.0如何在Colab中使用TensorBoard
专知
17+阅读 · 2019年3月15日
官方解读:TensorFlow 2.0 新的功能特性
云头条
3+阅读 · 2019年1月23日
这是我看过解释TensorFlow最透彻的文章!
AI前线
6+阅读 · 2018年6月27日
TensorFlow 相关论文与研究汇总
云栖社区
4+阅读 · 2018年1月7日
终于!TensorFlow引入了动态图机制Eager Execution
深度学习世界
5+阅读 · 2017年11月1日
独家 | 一文读懂TensorFlow(附代码、学习资料)
数据派THU
3+阅读 · 2017年10月12日
相关论文
The Matrix Calculus You Need For Deep Learning
Arxiv
12+阅读 · 2018年7月2日
Arxiv
6+阅读 · 2018年2月7日
Arxiv
10+阅读 · 2018年2月4日
Arxiv
6+阅读 · 2018年1月11日
Arxiv
27+阅读 · 2017年12月6日
Top
微信扫码咨询专知VIP会员