剖析 AI 和大数据的分布式实践 —— 2018 UCan下午茶·北京站

2018 年 12 月 19 日 CSDN


12月16日北京,2018年UCan下午茶的收官之作 —— 主题为“回归云核心,服务大数据和AI的分布式实践”沙龙在望京浦项中心W1 Platform举行,此次活动围绕云的“分布式实践”进行了深入的讨论和精彩的分享,为到场的数百名开发者带来了一场技术盛宴。虽然天气寒冷,但会场依然爆满,再次证明了大家对云计算核心技术的热情,是无法阻挡的。 

由于是年度收官之作,本次UCan下午茶采用了Keynote和开放式演讲相结合的形式,并且伴有精彩的答题活动和抽奖,新颖的形式和精彩的内容也使得会场始终保持火热的温度。

新一代公有云分布式数据库——UCloud Exodus

UCloud关系型存储研发部负责人罗成对第一个演讲,他对新一代公有云分布式数据库UCloud Exodus进行了详细的介绍。罗成对首先介绍了UCloud云数据库现状,他表示,UCloud云数据库于2013年上线商用、至今已经稳定运营近6年,覆盖全球29个可用区,服务上万家企业用户,实例数几万个,数据量达到10PB+,单用户实例数达到6k+,单用户数据量1.8PB。

罗成对接着简单地介绍了UCloud云数据库发展历程,并指出了云数据库目前面临的运营痛点,即容量、性价比、性能、兼容性,而解决这四大痛点的方法,就是数据层和基础设施层的共生复用。而UCloud Exodus就是这样一个云数据库,Exodus支持最主流的开源数据库MySQL,协议完全兼容,通过融合最新软硬件技术,包括RDMA、Skylake、SPDK、用户态文件系统等,基于计算存储分离新型架构,采用UCloud最新一代高性能分布式存储系统,计算层采用深度定制的MySQL InnoDB引擎,架构设计上支持一主多从,通过这些设计,Exodus一举解决了云数据库容量、性能、性价比、兼容性四大痛点。最后,罗成对介绍了Exodus(UXDB)的开发计划,并透露该产品会在2019年Q3进行公测。

罗成对的演讲结束之后,紧接着进行的就是三场同时开始的开放式演讲,分别是由UCloud LabU深度学习开发工程师范融带来的演讲AI PaaS平台实践UCloud资深存储研发工程师丁顺带来的数据库高可用容灾方案设计和实现以及奥思数据创始人&CTO李明宇带来的演讲技术内幕:分布式存储中的数据分布算法。会场被分成了三个演讲区域,每个演讲区域都是人气满满,讨论热烈。

AI PaaS平台实践

范融在演讲中,首先说明了AI场景下做PaaS面临的挑战,诸如AI选型、AI开发周期、应用迭代、推理环境等痛点,并总结对AI PaaS平台的需求。针对UCloud自己做AI公有云平台和私有云解决方案,详细的论述了UCloud利用公有云的规模效应和分时租赁特性,降低企业的AI转型门槛,使广大公有云用户提供一套开箱即用的AI开发、测试、部署的一体化环境。最后,推而广之论述在其迁移私有云过程中的演进和未来发展。

数据库高可用容灾方案设计和实现

UCloud云数据库的资深研发工程师丁顺,对传统数据库服务与高可用数据库进行了对比,为解决数据库宕机导致数据无法读写,而对运维、提供服务带来更多便利的要求,高可用数据库应运而生。面对高可用数据库带来的好处,丁顺还详细分析了业界典型高可用数据库架构,并按照数据同步的方式进行了划分,包括共享存储、操作系统实时数据块复制、基于主从的复制、基于一致性协议的复制四种数据同步的方式。

除此以外,他还详细介绍了UCloud云数据库产品UDB,UDB采用经典的主从模式设计,为了提高数据一致性,采用了半同步的模式,保证可靠性。他表示大规模高可用数据库运维中日常要进行例行巡检、定期容灾演练很有必要。运维当中对高可用容灾记录要进行全方位记录,并且切换失败时候要进行及时的告警。

技术内幕:分布式存储中的数据分布算法

分布式存储作为数据存储的主流方案,而数据分布算法作为分布式存储最核心的技术之一,不仅仅要考虑到数据分布的均匀性、寻址的效率,还要考虑扩充和减少容量时数据迁移的开销,兼顾副本的一致性和可用性。李明宇介绍了几种典型的数据分布算法,并详细叙述了计算复杂度低,均匀性较好的一致性哈希算法。

并就这一年大火的区块链技术中的数据分布算法进行了讨论,针对云存储服务、企业级存储系统,区块链存储等不用的存储场景,对数据分布的需求也不尽相同,在一种算法无法满足所有问题的情况下,分析各算法的优缺点,助力开发者在具体应用中可以灵活选择。

Kyligence:释放大数据生产力

最后一个登场的是Kyligence云与生态合作部副总裁刘一鸣,他带来了题为《Kyligence:释放大数据生产力》的演讲。大数据分析技术不断涌现,海量数据处理能力与数据分析的门槛依旧很高,在查询性能、数据建模易用性、语义模型表达能力、高并发响应等场景均存在最后一公里问题。针对数据分析生产力场景设计,刘一鸣详细介绍了Kyligence在云端的业务实践。

除了干货满满的主题分享,UCloud在本次2018 UCan下午茶年终精选的场内外也准备了精彩纷呈的展区互动和抽奖环节,不仅增强了现场参会者的互动交流,更为本次沙龙增添了喜悦与欢乐。

后续深度报道,敬请关注 CSDN 公众号(ID:CSDNnews)下周一的文章推送!


print_r('点个赞吧');
var_dump('点个赞吧');
NSLog(@"点个赞吧!");
System.out.println("点个赞吧!");
console.log("点个赞吧!");
print("点个赞吧!");
printf("点个赞吧!\n");
cout << "点个赞吧!" << endl;
Console.WriteLine("点个赞吧!");
fmt.Println("点个赞吧!");
Response.Write("点个赞吧");
alert("点个赞吧")
echo "点个赞吧!"

登录查看更多
0

相关内容

《人工智能2020:落地挑战与应对 》56页pdf
专知会员服务
195+阅读 · 2020年3月8日
【阿里巴巴】 AI编译器,AI Compiler @ Alibaba,21页ppt
专知会员服务
44+阅读 · 2019年12月22日
【阿里技术干货】知识结构化在阿里小蜜中的应用
专知会员服务
96+阅读 · 2019年12月14日
2019中国硬科技发展白皮书 193页
专知会员服务
81+阅读 · 2019年12月13日
【大数据白皮书 2019】中国信息通信研究院
专知会员服务
137+阅读 · 2019年12月12日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
95+阅读 · 2019年12月4日
【白皮书】“物联网+区块链”应用与发展白皮书-2019
专知会员服务
93+阅读 · 2019年11月13日
DevOps 国际峰会 2019 · 北京站完整实录(附PPT)
DevOps时代
52+阅读 · 2019年7月8日
5G时代:北京移动业务支撑系统 DevOps 实践
DevOps时代
15+阅读 · 2019年6月13日
网易游戏海外AWS实践分享
高效开发运维
3+阅读 · 2019年5月21日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
蚂蚁金服微服务实践(附演讲PPT)
开源中国
18+阅读 · 2018年12月21日
干货 | 双11总峰值超8亿OPS 阿里分布式NoSQL如何岿然不动稳如山?
阿里巴巴数据库技术
10+阅读 · 2018年12月12日
《大数据架构详解:从数据获取到深度学习》第⑨次重印
大数据和云计算技术
3+阅读 · 2018年3月3日
《大数据架构详解:从数据获取到深度学习》第八次重印
大数据和云计算技术
5+阅读 · 2017年12月24日
福利丨晚来天欲雪,一起囤大数据好书吗?
DBAplus社群
4+阅读 · 2017年12月13日
Meta-Learning to Cluster
Arxiv
17+阅读 · 2019年10月30日
Arxiv
3+阅读 · 2018年3月29日
Arxiv
3+阅读 · 2017年12月14日
VIP会员
相关VIP内容
《人工智能2020:落地挑战与应对 》56页pdf
专知会员服务
195+阅读 · 2020年3月8日
【阿里巴巴】 AI编译器,AI Compiler @ Alibaba,21页ppt
专知会员服务
44+阅读 · 2019年12月22日
【阿里技术干货】知识结构化在阿里小蜜中的应用
专知会员服务
96+阅读 · 2019年12月14日
2019中国硬科技发展白皮书 193页
专知会员服务
81+阅读 · 2019年12月13日
【大数据白皮书 2019】中国信息通信研究院
专知会员服务
137+阅读 · 2019年12月12日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
95+阅读 · 2019年12月4日
【白皮书】“物联网+区块链”应用与发展白皮书-2019
专知会员服务
93+阅读 · 2019年11月13日
相关资讯
DevOps 国际峰会 2019 · 北京站完整实录(附PPT)
DevOps时代
52+阅读 · 2019年7月8日
5G时代:北京移动业务支撑系统 DevOps 实践
DevOps时代
15+阅读 · 2019年6月13日
网易游戏海外AWS实践分享
高效开发运维
3+阅读 · 2019年5月21日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
蚂蚁金服微服务实践(附演讲PPT)
开源中国
18+阅读 · 2018年12月21日
干货 | 双11总峰值超8亿OPS 阿里分布式NoSQL如何岿然不动稳如山?
阿里巴巴数据库技术
10+阅读 · 2018年12月12日
《大数据架构详解:从数据获取到深度学习》第⑨次重印
大数据和云计算技术
3+阅读 · 2018年3月3日
《大数据架构详解:从数据获取到深度学习》第八次重印
大数据和云计算技术
5+阅读 · 2017年12月24日
福利丨晚来天欲雪,一起囤大数据好书吗?
DBAplus社群
4+阅读 · 2017年12月13日
Top
微信扫码咨询专知VIP会员