作者 | AI 科技评论
「职播间」第14讲邀请到了ZILLIZ解决方案副总裁魏一来做主题为「数据科学的下一程——超高算力在人工智能领域的应用」的分享。
内容涉及数据科学的定义,数据时代的今天与未来以及ZILLIZ对新一代数据科学提出的解决方案,观看完整视频回放,可跳转文末,点击“阅读原文”查看。
社长小tip:登陆网站完善完善个人资料,可以下载更多嘉宾课件and超级无敌多技术资料哦~
2.数据时代的今天与未来
3.传统架构和异构计算有什么区别?
4. ZILLIZ对新一代数据科学提出了什么样的解决方案?
5. ZILLIZ人才观分享与人才招聘
大家好,我是ZILLIZ的魏一,从事数据科学领域已有十余年,今天和大家分享ZILLIZ在数据科学领域如何将GPU的算力应用在人工智能领域。
首先简单介绍一下ZILLIZ,公司成立于2016年,专注于异构计算的数据科学领域。公司的使命是Reinvent Data Science,即通过使用异构加速这种新的计算模式,解决数据科学领域的难点和痛点。
关于重新定义数据科学,魏一表示:
重新定义数据科学其实是往两个方向在努力,一个是数据化,传统来说即结构化的数据处理,不过近几年随着神经网络、人工智能算法地使用,可以对以前很难分析的非结构化数据进行分析,比如图形图像的处理、人脸识别、音频、视频、文本等。还有一个是数据如何呈现真实的世界,如何做到通过使用数据更好地加快决策的过程?在这方面我们有针对边缘数据、快数据、时空数据的可视化分析引擎。
随着时代的发展,全球数据规模呈现指数级增长,伴随5G的到来,还会有更大更密的数据连接,在算力层面,GPU架构会超过CPU。
接下来是ZILLIZ对新一代数据科学提出的解决方案,我们的两个产品分别是MegaWise和Milvus,这两个产品分别是对应前面讲到的两部分——数据化和数据现实,通过这种数据科技的整合,可以把以前比较慢的工作、或者一些算法的训练、以及数据计算的工作进行加速,然后能够对实时数据进行处理,这就是我们公司主要的两款产品。
那么传统架构和异构计算有什么区别呢?对传统架构来说,一般都是从外存加载到内存再加载到CPU的缓存进行就算,对异构计算来说,可以从磁盘直接把数据加载到GPU的显存里,通过CPU和GPU的联手,让其更好地发挥算力,进而将之前在CPU上很难处理或无法处理的工作,进行有效的提升和加速。这就是我们产品设计的最核心的思想和架构。
现在来介绍一下Milvus这款产品,是针对非结构化数据处理而设计的检索产品,可对到高维度、百亿级向量数据的进行秒级检索,能有效降低硬件成本(至少一个数量级)。通过异构计算的核心算法设计,能够在所有人工智能相关领域中使用,比如,人脸识别,语音识别,视频分析,文本分析等,能够为深度学习领域的推理部署进行性能提升和有效的成本控制。
整个系统的架构图如下:
Milvus提供了不同的向量检索算法,能够针对不同的业务场景只能选择最合适的算法从而实现最高的性能比。
索引系统的性能检测报告如下图:
现在,Milvus在Github正式开源啦,欢迎各位开发者在Github关注我们https://github.com/milvus-io/milvus!
再让我们来看一下在数据现实的核心产品——MegaWise,是结构化数据处理的核心引擎,深度整合了Nvidia Rapids的数据科学平台。从图中可以看出产品是建构在Nvidia Rapids异构数据科学平台之上的,通过整合各种数据分析处理组件,实现了对时空数据的高性能分析,很好的支持了上层可视化交互平台。同时,自主研发的Picasso 图形渲染引擎,能够对数亿级别的时空信息进行秒级渲染并通过Inifi可视化分析平台为数据科学家提供了超大规模数据现实分析能力。
接下来讲一个在MegaWise数据分析引擎的应用场景,通过这种图形化的展示,可以更直观地解决地理信息数据中的难点。
以上是本次分享的部分技术内容,更多详细讲解请观看视频回放。
在本次公开课的最后,ZILLIZ的人力资源总监对公司成长历程、文化氛围等做了介绍,同时ZILLIZ的秋招和社招也正在火热进行中,欢迎感兴趣的同学投递简历,和ZILLIZ一起开拓智能数据处理新疆界。
今天的分享就到这里,谢谢大家。
AI研习社职播间/大讲堂已举办超150场, 往期分享嘉宾分别来自斯坦福大学、卡内基梅隆大学、剑桥大学、北京大学、清华大学、加州伯克利等高校,也有腾讯、百度、阿里、科大讯飞、地平线、旷视科技、商汤科技、Momenta、微软等知名企业高管。
比如微软亚洲研究院院长洪小文、海康威视首席科学家浦视亮、Momenta L4负责人陈凯、深鉴科技CEO姚颂等。
每月10+场,分享前沿技术、人才需求。如果你是有AI人才招聘的企业,欢迎勾搭社长,提交资料(姓名+公司+职位+主题)报名AI职播间分享。
联系我们:18319013243
我们希望天下学AI者都有用武之地!
AI职通车还在成长中,期待你的加入~
点击 阅读原文,查看公开课视频回放。
招聘
招聘
招聘