AI技术不是卖期货,开发者呼吁共同推动真正的开源创新

2019 年 10 月 16 日 新智元



  新智元原创  

编辑:张佳
【新智元导读】近日,一篇介绍了新一代AI开源计算框架MindSpore的文章引发热议。阿里巴巴副总裁贾扬清表示:虽然我相信友商是真诚的,但是,还没有开源的就不是开源。请大家不要肆意消费开发者社区的真诚,在AI领域,开源开放的精神来之不易,先开放,再吹牛,而不是相反,并呼吁共同推动真正的开源创新。新智元 AI 朋友圈与贾扬清等AI大咖一起参与讨论吧~


如果地震了你会做什么?


北京时间15日13时33分许,美国加州旧金山湾区悦人山附近发生4.5级地震。


身处硅谷的蚂蚁金服首席工程师王益当时距离震中仅1英里,震感明显。用他自己的话说:“我还以为有个贼在房顶上摔倒了呢。”



王益所处位置距离震中很近

确认安全后,王益脑海里依然萦绕着刚刚在贾扬清朋友圈看到的文章。 这篇文章题为《华为于璠: 新一代AI开源计算框架MindSpore的前世与今生 | AI ProCon 2019》,着重介绍了新一代AI开源计算框架MindSpore。


阿里巴巴副总裁贾扬清表示:虽然我相信友商是真诚的,但是,还没有开源的就不是开源。请大家不要肆意消费开发者社区的真诚,在AI领域,开源开放的精神来之不易,先开放,再吹牛,而不是相反。Talk is cheap, show me the code.


“开源框架”什么时候开源?一个帖子发热议

作为业内人,王益想和大家一起讨论这篇文章,于是打开了新智元AI朋友圈 ,发出了自己的第一个帖子:
“这个‘开源框架’什么时候开源啊?王益这一问,引发了圈里热议,贾扬清来评论:



贾扬清表示: 我觉得“预告开源”这样的事情不应该做。既然还没有准备好,那就等准备好再说,毕竟技术不是卖期货。技术人员是最单纯的一批人,对于实实在在开源的公司,技术圈是会全心拥抱的。预告开源和零首付按揭开源,其实并没有必要。共勉。


贾扬清还回忆起自己六年前写caffe的时候,九月份开始写,十二月初开源,也就用了三个月,github有据可查。并呼唤友商要速度。


这个帖子也引起了华为方的注意,华为MindSpore社区运营负责人黄之鹏解释道: 823的发布会上已经说了,明年Q1开源,感谢大家关心。github上的MindStudio是昇腾硬件的软件库,不是MindSpore。

详见新智元报道: 《华为发布全球算力最强AI处理器,达芬奇架构巨无霸芯片昇腾910问世!


在百忙之中,贾扬清在新智元的AI实践者联盟群中表达了自己对开源的关切:
其实我还是很期望看到更多代码开源。 我自己受教于开源社区,所以很多时候爱得更深批评也更直接,期待大家一起呵护国内的开源社区发展。



作为 新智元AI朋友圈 的联合创始人,新智元创始人兼CEO杨静女士也表达了自己的心声:
非常高兴今天王益在硅谷发起讨论,让大家一起来关注开源,讨论开源,一起建设一个新的代码世界。

我们跟华为也建有几个微信群,但几十个微信群,包括大家朋友圈都是割裂的,你们看不到对方,听不到彼此声音。 我们希望搭建一个平台,让大家可以在小程序里面,开诚布公对话,打破壁垒交流。这样效率更高,不然话容易误解变形放大,初衷就被扭曲了。


这也正是 新智元AI朋友圈 创立的初衷:打破交流壁垒,开诚布公对话。


三大开源深度学习框架核心作者,贾扬清成阿里开源技术委员会负责人

在上个月的阿里云栖大会上,贾扬清正式成为阿里巴巴开源技术委员会负责人,开源升级成为阿里技术战略之一。

详见新智元报道: 《贾扬清正式担纲阿里开源领头人! AI架构大神是怎样炼成的?

开源这件事,由贾扬清带领,更显得意义重大。因为他是当今最流行的三大开源深度学习框架Caffe、TensorFlow和PyTorch的核心作者之一。

贾扬清
熟悉贾扬清的朋友都知道,他在硅谷奠定自己AI大神的地位,是因为两个世界级的框架Caffe和TensorFlow。

Caffe是史上第一个通用深度学习框架,也是目前全球最普遍使用的深度学习框架之一,微软、雅虎、英伟达、Adobe等世界级大公司都在用。

而TensorFlow,不得不提到因围棋一战成名的机器人AlphaGo(阿尔法狗),TensorFlow就是阿尔法狗背后的强大支撑,被称为“谷歌大脑”。

贾扬清,就是这两个世界级框架的作者之一。

他还担任过PyTorch 1.0项目的共同负责人,2017年创建了首个开放模型格式的原型,后来成了FB、微软、亚马逊和许多硬件供应商一起发布的ONNX

那么,现任阿里巴巴开源技术委员会负责人的贾扬清要做什么事情呢? 他表示,必须把工具做好,向大家提供更加详细、经过测试的方法论,帮助开发者更容易推进自己的开源项目。如何利用开源项目和解决方案提高开发效率,包括测试部署工具,源代码管理工具,项目交流平台等。



谈到自己在伯克利开发Caffe、参与TensorFlow、Pytorch等开源框架的核心开发,贾扬清说这一切都是“机缘巧合”,Caffe用得很开心,于是把它开源出去,让社区所有人都能用到。
 
MindSpore 全场景AI计算框架,明年Q1开源
 

作为此次争议的主角,最后给大家介绍一下MindSpore


今年8月23日,华为宣布采用达芬奇架构的又一款AI芯片——昇腾 910 ( Ascend 910) 正式商用,与之配套的Mindspore全场景AI计算框架也一同亮相。


徐直军发布了全场景AI计算框架 MindSpore,并宣布“MindSpore将在2020年Q1开源”。



一年后的今天,全场景AI计算框架MindSpore在这三个方面都取得了显著的进展:在原生适应每个场景包括端,边缘和云,并能够按需协同的基础上,通过实现AI算法即代码,使开发态变得更加友好,显著减少模型开发时间,降低了模型开发门槛。


MindSpore如何做到更快更高效?


MindSpore秉承“AI算法即代码”理念,提供一系列的关键技术,例如MindSpore自动微分,采用Source 2 Source方式实现,在性能和可编程性上,明显优于业界图和运算符重载方式。能够实现任意算子的微分表达和编译优化,同时实现反向算子自动生成,极大地方便了模型开发。



而随着数据集和模型规模越来越大,模型并行将成为必然趋势。相比手工切分的模型并行的门槛高、效率低、调优难,MindSpore只需定义单机模型,即可自动实现多机混合并行运行,无需了解AI集群细节。

主从控制模式中,CPU和GPU交互引入内存和数据开销。MindSpore在芯片上完成神经网络模型训练的所有控制和执行,减少和主机CPU的交互时间,速度更快。并在已有的分布式训练方案引入中心控制来寻找梯度同步点,MindSpore实现了去中心化的分布式梯度聚合,完全消除控制开销。


最终,软硬件优化为不同类型算子映射最佳的计算单元和数据布局,获得最佳的性能。


通过MindSpore自身的技术创新及MindSpore与Ascend处理器协同优化,实现了运行态的高效,大大提高了计算性能除了昇腾处理器,MindSpore也支持GPU、CPU等其它处理器。



现在已有了TensorFlow、PyTorch框架,但还没有任何一个现有框架支持全场景,而这就是华为要做的——覆盖端-边缘-云,做一个能支持全场景的框架,实现AI无所不在越来越基础的需求,这也是MindSpore的重要特色。


针对不同的运行环境,MindSpore框架架构上支持可大可小 ,适应全场景独立部署。同时,MindSpore框架通过协同经过处理后的、不带有隐私信息的梯度、模型信息,而不是数据本身,以此实现在保证用户隐私数据保护的前提下跨场景协同。除了隐私保护,MindSpore还将模型保护Built-in到AI框架中,实现模型的安全可信。


为了降低AI开发者的开发门槛,MindSpore创造性地实现了AI算法即代码,使开发态变得更加友好,显著减少模型开发时间。以一个NLP(自然语言处理)典型网络为例,相比其他框架, 用MindSpore可降低核心代码量20%,开发门槛大大降低,效率整体提升50%以上


写在最后:其实这次事件大家争议的地方在于还没有开源却在宣传时用“开源框架”到底合不合适?正如贾扬清所言:大家一起培育开源心态,都不容易,互相扶持。 我们期待看到更多的开源,也希望大家一起呵护国内的开源社区发展。

登录查看更多
0

相关内容

贾扬清,阿里巴巴计算平台事业部总裁,阿里巴巴集团副总裁。曾任Facebook AI架构部门总监,负责前沿AI平台的开发,Facebook各产品部门AI平台的支持以及前沿机器学习系统研究。还曾经在Google Brain担任研究科学家,致力于深度学习的科研与工程,包括GoogleNet、TensorFlow以及移动端AI技术的应用。在深度学习框架领域有很多的贡献和积累,是Caffe的作者,TensorFlow的作者之一,同时还是Pytorch1.0的合作领导者和Onnx的创始人。加州大学伯克利分校计算机科学博士学位、清华大学硕士学位和学士学位。
打怪升级!2020机器学习工程师技术路线图
专知会员服务
98+阅读 · 2020年6月3日
【微众银行】联邦学习白皮书_v2.0,48页pdf,
专知会员服务
165+阅读 · 2020年4月26日
【复旦大学-SP2020】NLP语言模型隐私泄漏风险
专知会员服务
24+阅读 · 2020年4月20日
《人工智能2020:落地挑战与应对 》56页pdf
专知会员服务
195+阅读 · 2020年3月8日
报告 | 2020中国5G经济报告,100页pdf
专知会员服务
97+阅读 · 2019年12月29日
5G全产业链发展分析报告
行业研究报告
11+阅读 · 2019年6月7日
为什么欧盟呼吁共建 AI 伦理准则?
AI科技评论
3+阅读 · 2018年3月14日
2017创业阵亡最全名单曝光,触目惊心!
今日互联网头条
5+阅读 · 2017年12月26日
IDG资本杨飞:从价值投资谈2017中国现象
IDG资本
4+阅读 · 2017年12月22日
刚刚,阿里发布了一个技术重磅炸弹!
数据分析
6+阅读 · 2017年12月20日
猝不及防!刚刚,马云重大宣布,沸腾了全中国!
今日互联网头条
3+阅读 · 2017年11月23日
已删除
Arxiv
32+阅读 · 2020年3月23日
Phrase-Based & Neural Unsupervised Machine Translation
Arxiv
10+阅读 · 2018年2月4日
VIP会员
相关VIP内容
打怪升级!2020机器学习工程师技术路线图
专知会员服务
98+阅读 · 2020年6月3日
【微众银行】联邦学习白皮书_v2.0,48页pdf,
专知会员服务
165+阅读 · 2020年4月26日
【复旦大学-SP2020】NLP语言模型隐私泄漏风险
专知会员服务
24+阅读 · 2020年4月20日
《人工智能2020:落地挑战与应对 》56页pdf
专知会员服务
195+阅读 · 2020年3月8日
报告 | 2020中国5G经济报告,100页pdf
专知会员服务
97+阅读 · 2019年12月29日
相关资讯
相关论文
已删除
Arxiv
32+阅读 · 2020年3月23日
Phrase-Based & Neural Unsupervised Machine Translation
Arxiv
10+阅读 · 2018年2月4日
Top
微信扫码咨询专知VIP会员