秋天的武汉是美丽的,你可以去落雁岛看一次夕阳,鸬鹚们结伴飞向远处,泛着金色涟漪的湖面,倒映在水中,亦或是约上几个好友一起去木兰云雾山打板栗,那里的板栗不仅个大、肉嫩,而且皮薄、味甜,或者是骑车去东湖绿道,体验一次东湖绿道中的“郊野道”,在亲水场所、林中栈道中穿梭,当然,你还可以参加UCan下午茶的活动,在暖暖的光谷创业咖啡馆中,美美的泡上一个下午,接受知识的熏陶。
UCan下午茶是UCloud于2017年启动的系列技术沙龙。该沙龙不仅会分享UCloud最新的技术重点,同时也会诚邀业界相关方向的技术大咖一同交流、分享。诚意满满的干货、鲜活生动的案例内容,将使每位参与者不负午后时光,场场“悟”有所值。“UCan下午茶-2018”秉承了去年技术为先、实践为主的宗旨,坚持为大家分享真正的技术干货。而这次的武汉站将给大家带来分布式存储方面的精彩内容,希望对分布式存储感兴趣而又身在武汉的朋友能来捧场!
随着信息时代的到来,人类产生的数据呈指数级增长,传统存储逐渐已经无法适应这样的数据增长速度,因此,分布式存储系统应运而生。分布式存储系统将数据存储在物理上分散的多个存储节点上,对这些节点的资源进行统一的管理与分配,并向用户提供文件系统访问接口,其主要解决了本地文件系统在存储容量、扩展性、高性能、高可靠等方面的问题。而要谈到分布式存储系统技术,就要先从分布式存储系统的典型架构讲起。
分布式存储系统典型架构
目前比较主流的分布式文件系统架构,如下图所示,通常包括主控服务器(或称元数据服务器、名字服务器等,通常会配置备用主控服务器以便在故障时接管服务,也可以两个都为主的模式),多个数据服务器(或称存储服务器,存储节点等),以及多个客户端,客户端可以是各种应用服务器,也可以是终端用户。
分布式文件系统的数据存储解决方案,归根结底是将大问题划分为小问题。大量的文件,均匀分布到多个数据服务器上后,每个数据服务器存储的文件数量就少了,另外通过使用大文件存储多个小文件的方式,总能把单个数据服务器上存储的文件数降到单机能解决的规模;对于很大的文件,将大文件划分成多个相对较小的片段,存储在多个数据服务器上。目前,很多本地文件系统对超大文件的支持已经不存在问题了,如ext3文件系统使用4k块时,文件最大能到4T,ext4则能支持更大的文件,只是受限于磁盘的存储空间。
常见的分布式存储系统
目前,常见的分布式存储系统有Hadoop HDFS、OpenStack的对象存储Swift、Ceph、公有云分布式存储等。
Hadoop分布式文件系统(HDFS)是一个分布式文件系统,适用于商用硬件上高数据吞吐量对大数据集的访问的需求。该系统仿效了谷歌文件系统(GFS),数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。该系统的主要设计目标包括:容错,可扩展性,高效性和可靠性。HDFS采用了MapReduce,不迁移数据而是以将处理任务迁移到物理节点(保存数据)的方式降低网络I/O。HDFS是Apache Hadoop的一个子项目并且安装Hadoop。
OpenStack Swift提供一个类似Amazon S3的对象存储。其主要特点为是所有的存储对象都有自身的元数据和一个URL,这些对象在尽可能唯一的区域复制3次,而这些区域可被定义为一组驱动器,一个节点,一个机架等。
Ceph是一个遵循LGPL协议的存储平台,它可以在单个分布式节点上同时支持对象存储,块存储和文件存储。Cphe主要设计的初衷是变成一个可避免单节点故障的分布式文件系统,EB级别的扩展能力,而且是一种开源自由软件,许多超融合的分布式文件系统都是基于Ceph开发的,作为开源软件在超融合商业领域的应用,Ceph因为性能等问题被诟病,但不乏许多厂商在Ceph上不断优化和努力。
公有云提供的分布式存储系统则有谷歌的云存储、Amazon的S3,微软的Azure Bolb,阿里的OSS,UCloud的UFS以及云存储等。
分布式存储系统涉及的技术
分布式存储系统涉及的技术主要涉及接口、稳定性、性能等方面。
接口方面
ISCSI的系统接口可能企业存储上云的主要接口,这个方式可以有效兼容当前所有传统存储系统的接口形态,同时对于后端定制性更强,有利于快速变化的云计算技术的迭代更新。
互联网新业务要求存储系统在提供块和文件接口的同时,也需要提供对象存储、NoSQL等存储形态,同时在这样的形态之上需要存储系统集成图片处理、视频处理、特征提取等更多的计算服务,一站满足很多用户公共的处理要求。
稳定性方面
跨数据中心和跨地域的容灾将是存储系统的标准配置,同时对于容灾进行动态调整和灵活的定价策略将吸引更多的用户。
容器技术和只能交换网络需要进一步和存储系统进行结合,在数据安全和隔离性方面给存储系统带来巨大变化。目前基于进程内部的队列和优先级控制始终处于被动状态,不能在源头上就达到数据流量和优先级的控制,增加了系统的消耗。
性能方面
存储节点的数据处理将使用专用硬件设备接管来实现数据处理加速,并将数据处理和存储数据的过程合并。存储节点将集成更多的硬件,例如FPGA、RDMA网卡、GPU,这些硬件为特定的数据处理带来加速效果,同时降低功耗。
操作系统内核将不会再参与数据的I/O处理,所以要依赖数据分布式算法对内核进程、内存管理和文件系统进行有效对的调度。
存储大咖悉数登场畅谈分布式存储
而上面这些技术,都将在11月8日武汉举办的UCan下午茶活动中得到存储大咖们的详细讲解。这些大咖们包括:
邓瑾先后就职于腾讯,七牛,UCloud,负责海量存储相关的产品开发和运营。在UCloud期间主要负责对象存储,文件存储等分布式存储系统。目前致力于为公司和客户提供稳定统一的基础存储设施。个人技术兴趣主要集中于分布式理论,数据库和文件系统方向。
李明宇,中国新一代IT产业联盟分布式存储分委会秘书长,荣获中国软件协会“优秀CTO”称号。在分布式系统领域有十年以上研发经验,曾在中科院国家级重点实验室担任专项课题组技术负责人,现兼任西安交通大学研究生院外聘专家和企业导师。
叶恒,UCloud网络磁盘产品(UDisk)核心研发工程师,主导和参与网络磁盘从老架构到新架构的整个设计和研发过程,目前正在研发超高性能存储框架。对服务后端技术、存储技术,高性能存储有丰富的研发经验。
卢波,深信服存储研发专家,8年存储设计开发经验,负责过统一存储、超融合存储的架构设计和开发,目前主要负责深信服分布式存储(EDS)的产品规划。个人对文件系统,对象存储和大数据比较感兴趣。
他们将为来参加此次UCan下午茶的观众带来包括UCloud 分布式文件系统产品架构解析、分布式存储中的数据分布算法、云硬盘架构升级和性能提升详解以及基于CephFS的改进及优化等相关内容的讲解。
怎么样,这些大咖阵容够豪华吧?演讲内容够劲爆吧?那你就不要犹豫了,现在会场门票还有少数空余,赶紧抓紧时间报名吧!
时间:2018年11月10日 下午13:00
地点:武汉 青年众创空间光谷创业咖啡
地址:大智街办事处解放大道1435号青少年宫体育馆一楼(地铁一号线、二号线,循礼门站)
猛击下列链接报名:
https://bss.csdn.net/cview/reg/?project_id=3831&identy_id=1957
点击“阅读原文”,也可进入报名页面。