干货 | 一文教你如何用阿里云DLA搞定“一键建仓”

2019 年 8 月 12 日 阿里巴巴数据库技术

阿里云数据湖分析Data Lake Analytics（以下简称DLA）是Serverless化的跨数据源分析服务，完全兼容MySQL语法，可直接分析OSS、RDS、TableStore、ADB、MongoDB、Redis、DBS、PolarDB数据源里的数据。

DLA很早之前就支持了对关系型数据库的查询，但是一直以来用户会有一个担心:

直接分析RDS里面的数据会不会影响线上业务

这个担心很合理，除非你要查询的RDS是专门用来做后台数据分析使用的，否则直接大规模分析确实可能会造成数据库性能下降，影响前台业务。

对于这个担忧我们做过一些改进的措施，比如提供hint让用户可以手动指定底层查询并发度, 但是不是最理想的方案。

因此我们现在推出了一个极致方案: 每天自动、无缝地帮您把RDS里面的数据同步到OSS上面，并建立好相应的表结构 -- 跟RDS里面一样的表结构，让你可以基于OSS的数据进行无忧无虑的分析，这个功能我们称之为一键建仓。

一键建仓

首先打开DLA的Schema管理页面（免费开通DLA服务：

https://datalakeanalytics.console.aliyun.com/active），这里显示了您所有的数据库。

点击“创建Schema”按钮进入建库向导选择页面，选择其中的“一键建仓”，点击“使用向导创建”

因为一键建仓其实是在打通你的RDS数据和OSS数据，因此我们需要您的RDS和OSS授权:

授予好权限之后点击下一步进入一键建仓配置的主页面:

这个页面的左边列出了你所有的RDS，这是我们要建仓的数据来源，选择其中您要建仓的RDS，右边的服务器名，端口会自动填上，然后您需要填上用户名，密码，以及要同步的RDS的库名。

照道理说这个RDS的库名应该提供一个下拉框直接选就好了，不过目前由于一些限制暂时只能手动输入。

RDS信息填写完毕之后可以点击“测试连接”验证一下填写是否正确。

数据来源搞定之后，下一步我们要填写“建仓配置”，这一块是我们数仓相关的配置，在DLA的场景下主要是OSS相关的一些配置, 主要有三个:

🔶Schema: 这份数据在DLA里面新建一个什么名字的

🔶Schema数据位置: 这份数据放在您的哪个bucket的哪个路径下

🔶同步时间: 每天几点帮您定时同步RDS的最新数据到OSS上面

这里同步时间要注意下，应该选择半夜业务低谷的时候进行同步，避免影响线上业务。另外选择数据位置的时候我们会对您赋予DLA的OSS操作权限进行校验，如果没有赋予足够的权限，我们会做提示:

一键建仓需要用户授予DLA对于所选择的路径有删除权限，因为我们每天会同步最新的数据到OSS上来，这里就涉及到要删除老数据的操作，关于如果赋予DLA OSS删除权限的详情可以参见这篇文章: 如何授权OSS删除权限给DLA(URL：https://zhuanlan.zhihu.com/p/74388196)