当深度学习遇见大数据：一文概览BDL学习框架

【导读】深度学习的出现让许多机器学习从业者将目光从Spark等大数据计算框架转移到了TensorFlow、PyTorch等深度学习框架上。然而，大数据框架与深度学习框架并不是相互排斥的关系，它们之间有很好的结合。本文介绍一些大数据框架与深度学习框架的结合体。

TensorFlowOnSpark

---

简介：Yahoo的TensorFlowOnSpark可以让你在Spark集群上使用TensorFlow，也就是说，你可以利用Spark充分利用集群中大量机器的资源，同时可以利用TensorFlow使用节点中GPU超强的计算能力。

项目地址：

https://github.com/yahoo/TensorFlowOnSpark

文档地址：

https://github.com/yahoo/TensorFlowOnSpark/wiki

CaffeOnSpark

---

简介：同样也是Yahoo出品的开源软件，与TensorFlowOnSpark类似，只不过使用的深度学习框架是Caffe。

项目地址：

https://github.com/yahoo/CaffeOnSpark

文档地址：

https://github.com/yahoo/CaffeOnSpark/wiki

elephas

---

简介：在Spark上使用Keras。相对于TensorFlow、PyTorch，Keras具有相对简单易用的接口和各种工具类，更适合开发人员使用。elephas使得大数据工程师可以方便地在自己熟悉的Spark中使用容易上手深度学习框架Keras。

项目地址：

https://github.com/maxpumperla/elephas

文档地址：

http://maxpumperla.com/elephas/

Deeplearning4j

---

简介：Deeplearning4j由一个叫Skymind的小公司发起，后被加入Eclipse开源软件。虽然它难用、不灵活、不适合做模型迭代，但是Deeplearning4j是深度学习生态圈中屈指可数的几个用Java编写的框架之一，另外，它原生支持在Spark中运行。对于数据量大、模型相对固定且不需要复杂科学计算流程的任务，Deeplearning4j是一个不错的选择。

项目地址：

https://github.com/deeplearning4j/deeplearning4j

文档地址：

https://deeplearning4j.org/documentation

BigDL

---

简介：BigDL是另一个Java生态圈中的深度学习框架，原生就有Spark支持。相对于Deeplearning4j，BigDL具有更为强大的开发团队支持，它是由Intel发起的开源项目。BigDL的目标之一就是充分利用大规模集群中的Intel CPU，这也是它的弱点之一：没有GPU支持。

项目地址：

https://github.com/intel-analytics/BigDL

文档地址：

https://github.com/intel-analytics/BigDL/wiki

-END-

专 · 知

人工智能领域主题知识资料查看与加入专知人工智能服务群：

【专知AI服务计划】专知AI知识技术服务会员群加入与人工智能领域26个主题知识资料全集获取。欢迎微信扫一扫加入专知人工智能知识星球群，获取专业知识教程视频资料和与专家交流咨询！

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

请加专知小助手微信（扫一扫如下二维码添加），加入专知主题群（请备注主题类型：AI、NLP、CV、 KG等）交流~

请关注专知公众号，获取人工智能的专业知识！

点击“阅读原文”，使用专知