平滑快速又安全!这才是数据库上云的Cool姿势

2019 年 6 月 19 日 阿里云


德意志银行的分析报告称,中国84%的企业有意愿上云,认为云是未来。


越来越多的企业正将业务系统迁移到云上,享受云计算带来的服务变革,如高性能计算、弹性扩展资源、一站式运维服务等,大大降低企业的使用成本和维护成本。


市场研究机构IDC的报告数据印证了这一点:中国服务器出货量出现10年来首次下滑,企业快速迁移上云是背后主要诱因。


而对上云企业而言,最关键的一步是保障数据库高效可靠地迁移。因为数据库承载着企业核心业务,但传统的数据库迁移工具要求数据库在迁移中必须停服,极大影响业务。

早在2015年,我们深知上云企业的痛点,发布了数据传输服务DTS(Data Transmission Service),如果企业采用DTS,数据库在迁移过程中依然可以正常提供服务。


目前,DTS可支持多达18种数据源,已完成约40万个数据库上云。


迁移数据库上云,DTS有哪些技术亮点?

DTS支持关系型数据库、NoSQL、大数据(OLAP)、搜索引擎及消息队列等数据源间的数据传输,是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务,能够帮助企业实现:

数据异地灾备
在线数据库到大数据、搜索引擎
异步消息通知等多种需求
数据库零停机上云
异地多活
缓存更新  

经过多年技术积累及应用实践,DTS沉淀了诸多优势,能帮助数据库更平滑、安全、快速地搬迁上云。部分场景下,迁移性能可达100Mb/S:

0
1
平滑迁移


  • 非侵入式数据实时采集:基于数据库日志监听解析的技术,DTS实现非侵入式的增量数据实时采集,实现数据库零停机上云迁移。

  • 断点续传:当数据源、网络或者DTS节点发生异常故障时,支持完善的断点续传机制。故障恢复后,会断点续传未同步数据,避免全量数据重新同步,有效提升上云效率。

0
2
快速迁移


  • 分布式并发架构:采用分布式智能并发模式,根据数据库数据量自动评估并调度多个服务节点并发处理数据流,有效突破单机极限,水平扩展系统吞吐量。


  • 智能分片:对数据库中待迁移表采用多种智能分片策略,实现表内并发迁移,保证数据传输的并行能力并有效解决数据库写入放大问题。


  • 并行抓取:解耦数据抓取及数据写入模块,实现数据抓取及数据写入的全并行,极大提高系统整体吞吐能力。

0
3
安全迁移


  • 容灾守护:具备完善的容灾守护机制,会自动守护所有传输任务,一旦出现任务异常,自动进行容灾切换,快速恢复任务。同时,所有模块采用高可用架构,一旦任一节点发生故障,容灾系统就将故障节点的任务秒级恢复到正常节点。


  • 数据隔离:实现不同任务在计算和存储资源上的完全隔离,保证不同用户间的数据相互隔离,有效提升数据的安全性。同时,支持数据库的安全连接协议SSL,进一步提升数据传输安全。


40万个数据库上云,DTS已成上云标配

目前DTS已成为企业数据库上云必备的数据迁移工具,服务的企业客户遍布各行各业。


例 如


「echo回声」app备受年轻人喜爱,也是全球最大的3D音乐平台。「echo回声」app原本通过50多个数据库实例支撑app和web的日常业务,但随着数据量增长,数据库实例的管理成本越来越大,性能也越来越难以满足业务需求。


阿里云提供ECS+Redis+RDS的组合方案,基于DTS增量日志解析技术,实现「echo回声」数据库不停机在线迁移,所有业务在2小时内迁移完成,核心业务在半小时内切换;基于DTS多对一的迁移能力,对数据库实例进行合并,从迁移前的50个实例整合为20个,大大降低使用和管理成本。




十年磨一剑,阿里云数据库厚积薄发


2011年,阿里巴巴就开始投入DTS研发。


而阿里巴巴对数据库的研发投入更是由来已久,早在十年前,阿里巴巴就遇到了数据规模的压力,开始尝试用分布式数据库替代传统数据库,并在全球率先提出去IOE。如今这一理念已被全球企业广泛采纳。


阿里巴巴集团内部已经大规模采用云数据库。2018年天猫双11,阿里云数据库成功应对了100倍的日常压力,支撑起2135亿的总交易额。


除了核心生态产品DTS,阿里云还拥有国内最强大和丰富的数据库产品家族,涵盖了关系型数据库、非关系型数据库、分析型数据库以及生态工具满足用户不同的数据库应用场景。


 阿里云数据库正引领多个前沿技术领域,解决企业核心业务上云的关键难题: 

  • 云原生数据库技术:PolarDB通过IO路径旁路化、创新的一致性协议、物理复制等技术,实现了领先的云原生数据库能力,性价比是传统数据库的10倍。


  • 智能化数据库技术:DBaaS平台具体多方面的自动化能力,基于人工智能技术,实现了参数自调优、内存使用自调优、故障自处理等。


  • 数据库安全技术:国内首家提供BYOK的云数据库服务商,从用户连接、数据传输,到数据存储,提供了完整的全链路加密。


  • 分析数据库技术:AnalyticDB是最快的实时分析数据库,在全球权威分析型基准测试TPC-DS榜单中位列第一名。




PolarDB是由阿里云研发、国内首个云原生数据库,采用存储计算分离、软硬一体化的创新设计,具备快速弹性能力、超大规格、超高可靠性以及两倍于AWS Aurora的性能。目前,已支持企业将线下的MySQL、PostgreSQL和Oracle等数据库轻松迁移至PolarDB,最快数小时就可以迁移完成。


相关研究成果多次入选国际数据库顶级会议



在今年的ACM SIGMOD上,PolarDB相关论文入选,阐述面向大规模流量场景设计的自研存储引擎X-Engine,突破传统数据架构的局限,采用分层存储的全新理念,可以根据数据访问频度将数据合理归位,实现快存快取。


全球两大顶级机构认可




  • 2018年,成功进入Gartner数据库魔力象限,成为榜单中首个中国公司。


  • 2019年,进入Forrester数据库评估报告《The Forrester Wave™: Database-As-A-Service,Q2 2019》,创造国内公司的最好成绩,进入“强劲表现者(strong performance)”象限





你可能还喜欢

点击下方图片即可阅读


阿里云PolarDB重大更新:支持Oracle等数据库一键迁移

点击"阅读原文",查看迁移解决方案


登录查看更多
0

相关内容

数据库( Database )或数据库管理系统( Database management systems )是按照数据结构来组织、存储和管理数据的仓库。目前数据管理不再仅仅是存储和管理数据,而转变成用户所需要的各种数据管理的方式。
华为发布《自动驾驶网络解决方案白皮书》
专知会员服务
126+阅读 · 2020年5月22日
【北京大学】面向5G的命名数据网络物联网研究综述
专知会员服务
38+阅读 · 2020年4月26日
阿里巴巴达摩院发布「2020十大科技趋势」
专知会员服务
107+阅读 · 2020年1月2日
【大数据白皮书 2019】中国信息通信研究院
专知会员服务
138+阅读 · 2019年12月12日
【白皮书】“物联网+区块链”应用与发展白皮书-2019
专知会员服务
94+阅读 · 2019年11月13日
基于Prometheus的K8S监控在小米的落地
DBAplus社群
16+阅读 · 2019年7月23日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
数据库之架构:主备+分库?主从+读写分离?
架构文摘
8+阅读 · 2019年4月23日
亿级订单数据的访问与储存,怎么实现与优化
ImportNew
11+阅读 · 2019年4月22日
亿级订单数据的访问与存储,怎么实现与优化?
码农翻身
16+阅读 · 2019年4月17日
重新体验NoSQL | 飞雪连天射白鹿 大数狂舞倚灵动(Lindorm)
阿里巴巴数据库技术
11+阅读 · 2018年12月25日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
SLA 99.99%以上!饿了么实时计算平台3年演进历程
51CTO博客
11+阅读 · 2018年4月10日
海康威视AI Cloud助力平安城市4.0建设
海康威视
7+阅读 · 2018年1月17日
【AI说】揭秘京东实时数据仓库背后的神秘力量—JDQ
Teacher-Student Training for Robust Tacotron-based TTS
Arxiv
5+阅读 · 2019年2月28日
Learning Blind Video Temporal Consistency
Arxiv
3+阅读 · 2018年8月1日
VIP会员
相关资讯
基于Prometheus的K8S监控在小米的落地
DBAplus社群
16+阅读 · 2019年7月23日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
数据库之架构:主备+分库?主从+读写分离?
架构文摘
8+阅读 · 2019年4月23日
亿级订单数据的访问与储存,怎么实现与优化
ImportNew
11+阅读 · 2019年4月22日
亿级订单数据的访问与存储,怎么实现与优化?
码农翻身
16+阅读 · 2019年4月17日
重新体验NoSQL | 飞雪连天射白鹿 大数狂舞倚灵动(Lindorm)
阿里巴巴数据库技术
11+阅读 · 2018年12月25日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
SLA 99.99%以上!饿了么实时计算平台3年演进历程
51CTO博客
11+阅读 · 2018年4月10日
海康威视AI Cloud助力平安城市4.0建设
海康威视
7+阅读 · 2018年1月17日
【AI说】揭秘京东实时数据仓库背后的神秘力量—JDQ
Top
微信扫码咨询专知VIP会员