HBase多模的机遇与挑战

2018 年 9 月 21 日 大数据和云计算技术


首先提前祝大家中秋快乐,今天我们分享的文章来自云栖大会嘉宾:阿里云专家  封神的分享

分享主题:HBase多模的机遇与挑战
内容概要:业务挑战带来的架构演进;

             ApsaraDB For HBase多模式数据库;

             ApsaraDB For HBase核心场景;

              以及技术人员成长发展之路


什么是Apache HBase

Hadoop Database,是一个基于Google BigTable论文设计的高可靠性、高性能、可伸缩的分布式存储系统。

  • 松散表结构(Schema free)

  • 原生海量数据分布式存储

  • 随机查询、范围查询

  • 高吞吐,低延迟

  • 在线分布式数据库

  • 多版本,增量导入,多维删除


ApsaraDB HBase Platform

  • 平台架构


  • 平台优势


 Item

  ApsaraDB ForHBase (Aliyun Product)

 ApacheHBase(Software)

Basic

High availability

99.9%~   99.99%

N/A

Data reliability

99.999999999%

N/A

Online Ability

Multi-master clustering

Multi-master clustering,Multi-AZ/Regon

NO

GC

FGCNO,YGC5ms

GC 20s~100s,YGC100ms+

Reduce Cost

Storage Cost

Cut by 50%+on share cloud disk,Total3 Copy

Maybe on Cloud Disk,Total9 Copy

SupportCold Storage

SupportOSS,Cut by 70%   atless read

NO

Multi-model DB

Multi-model DB

KV,Tabular,SQL,Graph,Time Series,Geospatial

Full Text index, Search

KV,Tabular

Enterprise Characteristics

Disaster recovery

Backup and Restore

NO,maybe3.0

Security

user/password,ACL

Kerberos,ACL

Analytics

SparkonHBase ,Moreoptimization

SparkonHBase

Version upgrade

Automatic upgrade

N/A

Self-driven

Database

control system

15min Createa DB/Monitor

Online add storage and node/ElasticPowerinfuture

N/A

Diagnostic System

Big request ,Big Table merge,HotRegion……

NO


  • 使用场景

数据类型

存储对象

代表场景

组件

优势

KV/表格存储

稀疏表

简单kv信息

风控 画像表等稀疏表

HBase API

动态列

SQL

带类型的

替换单机关系数据库

HBase-Phoenix

SQL语法

具备Hbase

所有的优势

文档数据

json/xml/html

新闻

HBaseAPI

存储空间大

对象数据

图片/视频等

小对象存储

HBase

性能与存储空间

兼备

时序数据

传感器数据

监控数据

HBase

HBase-OpenTSDB

写性能高、存储量大

时空数据

轨迹

轨迹、时空数据

HBase

HBase-GeoMesa

写性能高、存储量大

图关系数据

关系

欺诈场景

Hbase-HGraphDB

分布式图

OLAP

cube

报表

Kylin或自己构建

计算前置

实时查询


人才的成长

  • 成长历程

    • 2-3年夯实基础

    • 4-6年成为专家

    • 7-10年无中生有

    • 引领-带领

  • 成长建议

    • 关注社区,多写文章

    • 请教高手

    • 项目中成长

    • 保持敬畏

    • 坚持


附上HBase多模式的机遇与挑战PPT:


猜你喜欢




#大数据和云计算机技术社区#博客精选(2017)

NoSQL 还是 SQL ?这一篇讲清楚

阿里的OceanBase解密

#大数据和云计算技术#: "四有"社区介绍

大数据和云计算技术周报(第56期)

新数仓系列:Hbase周边生态梳理(1)

《大数据架构详解》第2次修订说明

简单梳理跨数据中心数据库

云观察系列:漫谈运营商公有云发展史

云观察系列:百度云的一波三折

云观察系列:阿里云战略观察

超融合方案分析系列(7)思科超融合方案分析

加入技术讨论群




《大数据和云计算技术》社区群人数已经3000+,欢迎大家加下面助手微信,拉大家进群,自由交流。


喜欢QQ群的,可以扫描下面二维码:

欢迎大家通过二维码打赏支持技术社区(英雄请留名,社区感谢您,打赏次数超过108+):


登录查看更多
0

相关内容

阿里云数据库
社区检测的深度学习:进展、挑战和机遇
专知会员服务
46+阅读 · 2020年7月9日
FPGA加速系统开发工具设计:综述与实践
专知会员服务
65+阅读 · 2020年6月24日
大数据安全技术研究进展
专知会员服务
92+阅读 · 2020年5月2日
【人大】大规模知识图谱补全技术的研究进展
专知会员服务
86+阅读 · 2020年5月2日
【北京大学】面向5G的命名数据网络物联网研究综述
专知会员服务
37+阅读 · 2020年4月26日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
95+阅读 · 2019年12月4日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
阿里巴巴全球化架构设计挑战
InfoQ
35+阅读 · 2019年11月25日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
浅谈 Kubernetes 在生产环境中的架构
DevOps时代
11+阅读 · 2019年5月8日
重新体验NoSQL | 飞雪连天射白鹿 大数狂舞倚灵动(Lindorm)
阿里巴巴数据库技术
11+阅读 · 2018年12月25日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
【知识图谱】大规模知识图谱的构建、推理及应用
产业智能官
37+阅读 · 2017年9月12日
大规模知识图谱的构建、推理及应用
CSDN大数据
7+阅读 · 2017年9月7日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
NLP自然语言处理(二)——基础文本分析
乐享数据DataScientists
12+阅读 · 2017年2月7日
Arxiv
15+阅读 · 2019年6月25日
Arxiv
5+阅读 · 2018年6月5日
Arxiv
5+阅读 · 2017年4月12日
VIP会员
相关VIP内容
社区检测的深度学习:进展、挑战和机遇
专知会员服务
46+阅读 · 2020年7月9日
FPGA加速系统开发工具设计:综述与实践
专知会员服务
65+阅读 · 2020年6月24日
大数据安全技术研究进展
专知会员服务
92+阅读 · 2020年5月2日
【人大】大规模知识图谱补全技术的研究进展
专知会员服务
86+阅读 · 2020年5月2日
【北京大学】面向5G的命名数据网络物联网研究综述
专知会员服务
37+阅读 · 2020年4月26日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
95+阅读 · 2019年12月4日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
相关资讯
阿里巴巴全球化架构设计挑战
InfoQ
35+阅读 · 2019年11月25日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
浅谈 Kubernetes 在生产环境中的架构
DevOps时代
11+阅读 · 2019年5月8日
重新体验NoSQL | 飞雪连天射白鹿 大数狂舞倚灵动(Lindorm)
阿里巴巴数据库技术
11+阅读 · 2018年12月25日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
【知识图谱】大规模知识图谱的构建、推理及应用
产业智能官
37+阅读 · 2017年9月12日
大规模知识图谱的构建、推理及应用
CSDN大数据
7+阅读 · 2017年9月7日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
NLP自然语言处理(二)——基础文本分析
乐享数据DataScientists
12+阅读 · 2017年2月7日
Top
微信扫码咨询专知VIP会员