超融合方案分析系列（4）H3C超融合方案分析

前言    

话说天下大势，分久必合，合久必分！超融合到了爆发的边缘！

作者是国内研究超融合相当早的专家，有非常强的理论基础和实战经验。上几篇分析文章，对nutanix/VSAN/深信服等厂家的深入分析，引起了业界很大的反响。

以下是超融合分析系列前面几篇，已经阅读过的同学可以跳过。

超融合概述

超融合产品分析系列（1）：nutanix方案

超融合方案分析系列（2）：VSAN的超融合方案分析

超融合方案分析系列（3）深信服超融合方案分析

非常深入的超融合分析系列，希望大家会喜欢，另外文章最后附有作者的微信，有兴趣的同学可以加作者做更深入的交流。

下面是本系列的第5篇，对H3C的深入分析。

整体方案    

H3C UIS 统一基础架构系统就是H3C的超融合。下面我们来分析一下UIS的方案，在UIS超融合一体机介绍中有一段描述：

H3C UIS-Cell超融合一体机产品是H3C面向IaaS（基础架构即服务）推出的新一代解决方案，包含有UIS-Cell 3000和UIS-Cell 4000两个系列产品，它出厂预集成了CAS以及ONEStor的虚拟化软件，可实现在客户现场30分钟内快速完成基础架构集群搭建，并自带UIS-Cell统一管理软件，可将物理硬件、计算存储网络虚拟化资源统一监控和管理，并实现业务的快速灵活部署， UIS-Cell实现了全基础架构的软件定义，集成了业内领先的计算、存储、网络、安全等虚拟化软件，且可灵活交付业务，极简的管理，有效降低整体TCO。UIS-Cell是云计算的最佳基础架构平台。所以我们可以知道UIS超融合中部署的分布式存储是ONEStor。在《onestor分布式存储系统 安装指导-6w101-整本手册.pdf》中有一段描述：

H3C ONEStor 分布式存储系统（简称ONEStor）基于Ceph 开发，采用分布式技术实现软件定义存储。其以x86 服务器和本地硬盘为基础构建单位，把大批量普通的服务器组织起来形成存储集群。集群对各节点的本地存储设备进行统一管理，将其组成虚拟存储池，对外提供海量的、无差别的统一存储服务。

ONEStor 主要应用于IP SAN 部署和CAS 融合部署。

• IP SAN 部署：通过ONEStor 将多台Ubuntu 服务器的本地硬盘组织成一个统一的存储资源池，对上层应用提供存储服务。Ubuntu 服务器指安装Ubuntu 操作系统的服务器。

• CAS融合部署：通过ONEStor 将多台CAS服务器的本地硬盘组织成一个统一的存储资源池，对上层应用提供存储服务。CAS 服务器指安装CAS 操作系统的服务器。

这里我们知道ONEStor可以说就是Ceph，所以说ONEStor支持块存储和对象存储。

进一步分析    

第一，我们先看看支持的硬件

从官网列举的UIS相关硬件如下：

• H3C UIS-Cell3000超融合一体机（普通2路机架，3种型号，支持2.5和3.5两种硬盘）

• H3C UIS-Cell4000超融合一体机（4U4节点硬件方案，支持3节点的4030起步）

• H3C UIS R690 G2机架式超融合系统（4U4路机架服务器，只支持E7-4800v3）
  

• H3C UIS R590 G2机架式超融合系统（2U4路机架服务器，只支持E5-4600v3）

• H3C UIS R390X G2机架式超融合系统（2U2路机架服务器，支持E5-2600v3/v4）

分析到这里，我有个疑问，R390XG2,和Cell 3000的硬件平台非常类似，难道是一个做了预装，一个没有做预装？

另外还有H3C UIS8000 超融合刀箱，这款刀片服务器，和hp的C7000各个参数完全一致。包括下面的存储刀片D3000，无法独立部署，必须结合B390或者B590刀片一起,就是说计算存储合在一起当作融合节点使用。D3000作为直连存储连接到计算刀片的主板上。

其实从安装指导书中，我还发现支持Dell PowerEdge R720 服务器。

第二，看看对服务器的需求：

在《H3C CAS零存储工程开局指导书V1.1.chm》文档中我找到了OneStor存储对机架服务器的需求：

在零存储安装指导书中也找到相关的要求：

这里重点部分，我用红色标准，解读如下：

1、从上面看，推荐是SAS盘。但是官网宣传是同时支持2.5寸SAS和3.5寸SATA，为神秘推荐10000rpm的SAS，估计和下面原因有关：采用raid卡cache做分布式存储cache，对系统影响较大，只有SAS盘才能保证一定的性能。

2、阵列卡必须带至少2G cache，而且在备注中说明要采用带电容的。如果RAID卡缓存没有配置电容，在开机自检画面会有报错，比如FlexServer服务器会提示“Super-Cap报错”。很明显目前OneStor还采用 Raid卡的缓存做分布式存储的缓存，这种缓存比例太小，对系统的性能影响非常大。

3、数据盘要组raid0，无法采用直通模式，对可维护性带来相当大的影响：无法支持热插拔。添加磁盘需要重启服务器先组raid0（已经支持界面操作）。数据盘插板操作有严格要求：

4、对数据盘加入资源池必须先格式化，并且要采用ext4文件系统（在新版本支持xfs文件系统）。这是Ceph本身的机制问题。这样的好处是利用文件系统管理磁盘，降低磁盘管理的复杂度，同时也能利用OS的page cache做读写加速。缺点也非常明显：

1. 占用Page Cache，导致IO并发大时，对存储开销非常大，耗尽内存。

2. IO路径变长，导致时延相比其它分布式存储方案来说要差一些。

3. 同时容易收文件系统本身的稳定性影响，当异常掉电或者OS异常奔溃时，文件系统格式化后的分区很容易出现异常，需要做文件系统检查fscheck，甚至要做文件系统恢复。

5、磁盘格式化后需要挂着到OS，参见下图：

6、推荐要求不同节点配置相同大小和类型的硬盘，也就是说推荐硬盘同构，实际上Ceph是支持不同容量的磁盘组成资源池，但是这个特性不是最佳实践，反而导致系统问题：下面从版本说明书中摘录出来的：

7、支持采用SSD作为HDD的cache，这里SSD要先分区，每个分区对应一个HDD磁盘。从最新文档上看，到218版本才支持SSD读缓存。在官网上宣传支持读写缓存。

8、最后来说说分布式存储的资源开销：从新将上面的对CPU和内存的需求摘录如下：

我们简单计算一下：按正常的2颗E5-2630V4 10核计算，单台服务器有20核，2.2频率。UIS 3020支持29个硬盘，那么需要29Ghz，基本上2630V4一半以上的CPU都被占用了。融合部署的情况下，留给业务的CPU就很少了。

再说内存。如果按8TB大盘计算，单节点最大支持16个3.5寸大盘，我们就按3个硬盘起步，那么3*8TB=24TB。那么每个节点需要最少需要内存达到24GB。这还是正常的分布式存储系统内存开销。所以注定了UIS对大盘的支持有限，或者说代价高昂。

最后总结    

H3C的超融合没有找到技术白皮书，从维护手册、安装说明、用户手册中做的分析推测，不一定完全正确，另外资料和版本实际能力不一定完全一致，如果有错误，请大家及时指正，谢谢。

最后结尾依旧谈点感想：H3C做网络起家，同样顺应IT技术发展，切入云计算，推出超融合，虽然说CAS虚拟化是基于KVM的开源内核，零存储也是基于Ceph。但是通过大规模的实战，经过多年的锤炼，超融合产品也得到市场的认可。但是因为本身产品架构的原因，Ceph并不是一个合适做超融合的产品。包括上面谈到的资源开销，基于文件系统导致影响维护性等等。Ceph被红帽收购后，虽然在OpenStack下作为主流的原生分布式存储方案的得到了大量第三方厂家的推崇，但是红帽自己推出的超融合基础架构却是基于GlusterFS的，不能不看到支持Ceph的厂家脸上大写的尴尬。

最后再次请求超融合圈的朋友们能（加我微信）给我一些材料，不限于技术白皮书、PPT、最佳实践等，让我能将各个厂家的方案深入学习探讨，顺便写写分析文档，也能发出来让参考，提前说声谢谢。

最后附上作者微信，欢迎更多的同学加作者联系交流：

---

---

为了方便大家相互交流学习，创建了一个公众号同名微信群：《大数据和云计算技术交流群》，欢迎大家加下面我的微信，我拉大家进群，自由交流。同时如果大家觉得对您有帮助，也欢迎大家打赏：）。