【大数据】联通容器化大数据云平台探索与实践

2019 年 8 月 16 日 产业智能官

王志军 CIO之家 

中国联通是国内三大运营商之一,同时也是国内首批将大数据平台部署在容器云上的企业。 通过研究、探索和实践,我们发现Kubernetes+Docker的技术路线更契合联通的实际需求,它几乎支持了所有的容器业务类型,也正是基于联通的技术选型,我们引入了相关产品部署和Kubernetes集群管理功能,为联通的容器化大数据云平台提供更强而有力的容器技术及容器服务支撑。



对于租户来讲,涵盖了数据的加工、处理,流转以及应用的提供,基本上就具备了PaaS平台的框架了。我们的省分公司或者是子公司就不必再去建设做自己的大数据平台,如果他们要做大数据应用,就可以放到总部平台去做,相当于部署了一个任务在总部平台上,对于他们而言,他们有自己的数据,也有自己的空间来做一个处理,我们通过大数据平台的方式满足了他们的这种需求。



中国联通大数据云平台提供的PaaS能力有6大类30多种,我们的集群数量有437个。 在大数据云平台,我们开放给租户来使用这一平台,每月执行MR/Spark任务16万多个,实行的数据调度任务一万五千多个。 我们目前还在逐渐拓展使用的范畴,先前我们很多小的省份公司已经将大数据平台放到中国联通大数据云平台上进行部署。 下一步中国联通会进一步扩大规模,未来绝大部分的省分公司、子公司都将大数据平台放到这一平台上进行部署。 后续我们希望中国联通大数据云平台不断地进行演进,将Kubernetes本身当做一个服务提供给我们的租户,另一方面我们希望可以提供FaaS,采用Serviceless的方式为客户提供更加方便的服务,它只需提供一个函数就可以了,后台服务可以根据函数调动的情况进行弹缩和缩放。
另一个探索方向是支持物联网的云平台。 现在5G炒得很热,无论是运营商行业还是整体的社会,大家都在关注5G。 5G主要解决三大问题,一是大带宽,二是高密度连接,三是低延迟。 高密度连接和低延迟这两个问题都是属于物联网应用的问题。 而我们构建大数据云平台为物联网提供新服务,万物互联将产生更多的数据,数据如何进行实时处理? 怎样进行后续的分析和处理? 我们希望通过公共云平台的方式解决这一问题。
以上是中国联通基于容器云的大数据平台建设情况,目前看来我们取得了非常不错的一个成果。 在未来,我们将集成更多的能力,赋能前台,实现智能管理,提升整体利用效率。



作者:王志军 中国联通数据中心总经理


先进制造业+工业互联网




产业智能官  AI-CPS


加入知识星球“产业智能研究院”:先进制造业OT(自动化+机器人+工艺+精益)和工业互联网IT(云计算+大数据+物联网+区块链+人工智能)产业智能化技术深度融合,在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的产业智能化平台;实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。


产业智能化平台作为第四次工业革命的核心驱动力,将进一步释放历次科技革命和产业变革积蓄的巨大能量,并创造新的强大引擎; 重构设计、生产、物流、服务等经济活动各环节,形成从宏观到微观各领域的智能化新需求,催生 新技术、新产品、新产业、新业态和新模式; 引发经济结构重大变革,深刻改变人类生产生活方式和思维模式,实现社会生产力的整体跃升。

产业智能化技术分支用来的今天,制造业者必须了解如何将“智能技术”全面渗入整个公司、产品、业务等商业场景中, 利用工业互联网形成数字化、网络化和智能化力量,实现行业的重新布局、企业的重新构建和焕然新生。

版权声明产业智能官(ID:AI-CPS推荐的文章,除非确实无法确认,我们都会注明作者和来源,涉权烦请联系协商解决,联系、投稿邮箱:erp_vip@hotmail.com。



登录查看更多
3

相关内容

中国联合网络通信集团有限公司(英文名称China Unicom、简称“中国联通”、“联通”)于2009年1月6日在原中国网通和原中国联通的基础上合并组建而成,在国内31个省(自治区、直辖市)和境外多个国家和地区设有分支机构,是中国唯一一家在纽约、香港、上海三地同时上市的电信运营企业,连续多年入选“世界500强企业”。
大数据安全技术研究进展
专知会员服务
92+阅读 · 2020年5月2日
【中国人民大学】机器学习的隐私保护研究综述
专知会员服务
131+阅读 · 2020年3月25日
【文献综述】边缘计算与深度学习的融合综述论文
专知会员服务
164+阅读 · 2019年12月26日
智能交通大数据最新论文综述-附PDF下载
专知会员服务
104+阅读 · 2019年12月25日
【德勤】中国人工智能产业白皮书,68页pdf
专知会员服务
301+阅读 · 2019年12月23日
【大数据白皮书 2019】中国信息通信研究院
专知会员服务
137+阅读 · 2019年12月12日
【数字化】制造业数字化转型的实战路线图
产业智能官
39+阅读 · 2019年9月10日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
业务中台:如何在互联时代,快速响应用户需求?
互联网er的早读课
24+阅读 · 2018年12月26日
蚂蚁金服微服务实践(附演讲PPT)
开源中国
18+阅读 · 2018年12月21日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
人工智能大数据平台中Golang的应用实践
MomentaAI
5+阅读 · 2018年9月27日
安全牛发布《威胁情报市场指南》报告
安全牛
13+阅读 · 2017年7月10日
Arxiv
26+阅读 · 2019年3月5日
Arxiv
5+阅读 · 2018年5月1日
VIP会员
相关资讯
【数字化】制造业数字化转型的实战路线图
产业智能官
39+阅读 · 2019年9月10日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
业务中台:如何在互联时代,快速响应用户需求?
互联网er的早读课
24+阅读 · 2018年12月26日
蚂蚁金服微服务实践(附演讲PPT)
开源中国
18+阅读 · 2018年12月21日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
人工智能大数据平台中Golang的应用实践
MomentaAI
5+阅读 · 2018年9月27日
安全牛发布《威胁情报市场指南》报告
安全牛
13+阅读 · 2017年7月10日
Top
微信扫码咨询专知VIP会员