当前在 AI 领域研究的过程中存在一些亟需解决的问题,比如缺乏高质量的学习资源,导致新手入门难,有经验的开发者也因为找不到成熟完善的工具和框架,使开发效率受到限制。
以智慧交通中的车辆识别为例,开发者虽然可以在网络上找到很多预训练模型,但其准确率却难以保障,而如果要在企业内部重新训练模型,又需要一系列工具做支撑。当前的 AI 框架,在性能和易用性方面,多倾向于前者,导致框架的布署和使用都比较复杂。且大部分框架都存在场景覆盖不足、功能尚不完善的问题,如果开发者遇见了困难,基本也不存在太有效的求助渠道,只能靠自己钻研,研发效率很低。
以上种种,都是当今 AI 开发者正在遭遇的真实困境。
好消息是,许多企业、开源作者也注意到了这些问题,AI 工具、框架无论在品类还是成熟度上,正快速发展,华为的昇思 MindSpore 就是其中之一。昇思 MindSpore 是由华为于 2019 年 8 月推出的 AI 计算框架,提供全场景通用 API。2020 年 3 月 28 日,华为宣布 MindSpore 正式开源,随即,开源战略成为整个 MindSpore 项目运转的重中之重。
可以说,对开源生态建设的投入,是 MindSpore 在社区内获得高关注度的原因之一。而 MindSpore 之所以能帮助 AI 开发者解决问题,也恰恰是因为开源。
著名的开源运动旗手 Eric Raymond 曾于 1997 年在极具影响力的论文《大教堂与集市》中提出一个核心议题:Linux 社区“开放到几乎是混乱”的合作模式,竟然可以构建出这样一个世界级的安全、稳定、易扩展的操作系统,这背后的原因是什么?答案是 Linux 没有采用大多数闭源商业软件的“大教堂模式”,而是采用了协作、开放的“集市模式”,也就是开源的模式。
也恰恰是开源,帮助当今世界众多主流基础软件,构建起了成熟的生态。尤其是在 AI 领域,开源可以最大程度地聚集全球顶尖开发者的技术力量,保持软件快速、高质量的迭代。可以说,开源是解决工具框架类在行业发展早期,场景覆盖不全、模型精度不够、易用性不高等问题的主流方案。
而开源的 MindSpore 之所以能在短短 2 年时间里就获得众多组织和机构的认可,并仍然保持着高速发展的态势,也与其完善的开源运营理念密不可分。
MindSpore 社区一直本着以技术为核心的运营理念,构建能够为开发者带来核心价值的技术框架,“核心价值”指的是社区带给开发者的技术、人文、商业、生态等价值。围绕这一价值理念,MindSpore 社区成立了丰富多彩的 SIG,开展了各具特色的开发者社群、泛内容平台等系列活动。同时,MindSpore 在社区运作和管理等制度方面采用了“教堂”模式,让社区透明、高效、规范的健康发展。
这一系列运营理念,使 MindSpore 借助开源的力量,迅速在多个维度取得成绩,并进一步建设整个 AI 开发生态。
MindSpore 成功联合多所知名高校与科研机构进行项目合作,相继签约支持了武汉.Luojia、紫东. 太初、鹏程. 盘古、鹏程. 神农等千亿级参数的大型项目。这让 MindSpore 的生态圈从产业界扩展至学界。
此外,MindSpore 还与 100 多家高校展开教学合作,开设深度学习、计算机视觉、自然语言处理、机器学习 / 模式识别、人工智能导论等智能基座课程,出版 MindSpore 相关教辅书籍,让学习 AI 技术变得更容易。MindSpore 社区还将持续积极响应国家 AI 人才培养的号召,致力于打造学习成长型社区,关注个人发展,为每一位开发者规划由浅入深的学习成长路线。
MindSpore 一直秉承开发者第一的运营理念,在社区发展中十分注重开发者的成长。
MindSpore MSG 的河南组织者就是个很好的代表。最初他只是偏业务边缘的开发者,加入 MindSpore 开源社区后,一方面他积极参与社区组织的各项活动;另一方面,不断加强个人学习能力,参加社区的多项技能考试。此外,他还在去年河南遭受重大水灾和地铁事件时果断伸出援手组织当地开发者进行相应救援活动。在去年年底的一次社区反馈中,他陈述自己在大厂找到了 AI 解决方案相关的工作。MindSpore 的经历使他从一个边缘开发者一步步成长为核心 AI 开发者,完成了个人的华丽蜕变。
社区还在多个国家和地区成立了 MSG,在 MSG 中,成员可以一起探讨技术问题、分享实际案例,这使得开发者之间可以快速高效的进行沟通,共同进步。
截止目前, MindSpore 服务了超过 5000 家企业,涉及医疗、交通、金融、制造、能源等诸多领域,在此基础上推进支撑了智能遥感开源生态和多模态人工智能产业两大联盟的成立。
搭载 MindSpore 框架推出的首个一站式标注软件 Pair 就是个很好的例子。Pair 基于 MindSpore 快速的 CPU 推理,提供智能医学影像标注功能,对于操作者来说只需一步框定操作就能快速实现目标轮廓的全自动精确标注。目前已经服务 2000+ 医院类机构客户。此外,MindSpore 还联合山水自然保护中心,将 AI 技术应用于实际的生物多样性保护场景,共同开展红外相机照片 AI 物种识别模型训练工作。这也是国内首个基于国产 AI 框架的红外摄像预训练模型。
以上几个维度的突破,也反哺了 MindSpore 在开源层面的建设工作。截止目前,MindSpore 在 Gitee 的下载量已经超过 142 万次,项目总 Star 数 16000 多个,累计 PR 数超过 5 万个。除此之外,在 2021 年 MindSpore 成为热度最高的 AI 开源社区并荣获 AI 开源领域的多项大奖。当然,最大的收获还是来自全球各个地区的,越来越多的开发者加入到社区中来,一起推动 MindSpore 的开源建设。
MindSpore 社区数据概览
在开源、社区、生态方面的建设工作,众多开发者帮助 MindSpore 在工具层面本身实现了新一轮的突破。反过来看,只有工具变得更好用了,开发者才会真正受益。在 2022 年的 MindSpore TechDay 上,介绍了 MindSpore 1.6 的很多新特性和功能。
为了解决开发者在实际使用中遇到的问题和诉求,MindSpore 与开发者开展了系统、深入的交流,针对来自一线开发者的反馈,进一步在开发效率、易用性和性能优化等诸多方面进行了升级改进。如控制流性能提升并支持副作用训练,发布高效易用的图学习框架 MindSpore Graph Learning、高性能可扩展的强化学习计算框架 MindSpore Reinforcement,还提供了第三方框架模型迁移工具和开发套件 MindSpore Dev ToolKit。此外 1.6 版本还为对量子计算感兴趣的开发者带来了支持快速上手的 MindSpore Quantum 量子模块。
MindSpore 架构图
MindSpore 1.6 基于新版本高效语法,重构 Yolo v5 等 Model Zoo 模型,让开发者的编码更为顺畅,在调试、调优等功能特性上,昇思 MindSpore 进行了系统的改进,帮助开发者提升开发效率。
在 MindSpore 1.6 版本中,对控制流的 IR 表达设计进行了重构,优化了控制流子图数量,同时新增支持副作用训练,优化带来的直观表现就是执行性能和编译性能上的显著提升。
早期,社区不少开发者反馈提供的算子种类太少,针对这个问题,MindSpore 1.6 对自定义算子能力进行了全面升级,提供了支撑包括 Ascend、GPU 和 CPU 在内的多平台统一算子开发接口 Custom,基于这一实现,开发者可以方便地自定义并使用自己的算子。
MindSpore 的定位是面向全场景的 AI 框架,全场景支持是指对终端、边缘、云环境等场景的支持,并打通云到端全流程,开发者的精力应该聚焦于 AI 应用的创造,而不应该深陷于复杂的安装布署过程中,MindSpore 屏蔽了针对不同平台、环境的布署细节,提供一键环境布署,5 分钟完即可成环境搭建并使用。
2022 年的 昇思 MindSpore TechDay 已经落下帷幕,紧接着将迎来 MindSpore 2 周年的日子。回顾开源至今,MindSpore 今天取得的成果足以证明开源开放、开发者至上、社区优先的理念是正确的,是值得长期践行下去的。
未来 MindSpore 会继续奉行这一原则,吸引更多优秀的开发者加入进来一起打造有竞争力的开源社区,聚焦开发者需求,帮助更多的开发者成长,同时持续打造更优秀的 AI 框架,汇聚科研与产业的力量,更好地为开发者、用户与合作伙伴提供服务和支持。
参考文献:
MindSpore 官网:
https://www.mindspore.cn/
Mindspore 技术白皮书:
https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/white_paper/MindSpore_white_paperV1.1.pdf
点个在看少个 bug 👇