DLA实现跨地域、跨实例的多AnalyticDB读写访问 1

1. 介绍

实时数据仓库ADB（AnalyticDB）云产品：https://www.aliyun.com/product/ads
数据湖分析服务DLA（Data Lake Analytics）云产品：https://www.aliyun.com/product/datalakeanalytics
数据湖分析DLA简介：https://yq.aliyun.com/articles/635516

DLA作为数据湖数据分析场景中的中枢，能够对云上众多数据存储、数据库等系统进行融合数据分析，为用户提供统一操作视角，打通系统边界，对分析结果进行回流。

目前已经支持的数据存储、数据库系统包括：

数据系统	源（查询）	目标（数据回流）
OSS	支持	支持
Table Store	支持	支持
AnalyticDB	支持	支持
RDS for MySQL	支持	支持
用户自建MySQL	支持	支持
RDS for PostgreSQL	支持	支持
用户自建PostgreSQL	支持	支持
RDS for SQL Server	支持	支持
用户自建SQL Server	支持	支持
云数据库Redis	支持	暂不支持
用户自建Redis	支持	暂不支持
云数据库MongoDB	支持	暂不支持
用户自建MongoDB	支持	暂不支持
PolarDB	支持	支持

通过弹性网络技术，目前DLA支持了跨地域（region）的数据访问能力，上述的多个数据源同时通过DLA也具备了跨多个地域的融合分析能力，能够帮助用户实现多云（Multicloud: https://en.wikipedia.org/wiki/Multicloud）场景下的数据融合分析。

本文重点介绍通过DLA实现跨地域、跨实例的多AnalyticDB读写访问。涉及的网络结构如下图所示，假设用户使用的DLA服务位于上海region。

2. 场景示例

ADB中的数据

假设ADB的两个实例中，都已经存在如下两张表，对应ADB的DDL为：

CREATE TABLE customer (c_custkey int COMMENT '',c_name varchar COMMENT '',c_address varchar COMMENT '',c_nationkey int COMMENT '',c_phone varchar COMMENT '',c_acctbal double COMMENT '',c_mktsegment varchar COMMENT '',c_comment varchar COMMENT '',PRIMARY KEY (C_CUSTKEY,C_NATIONKEY)
)
PARTITION BY HASH KEY (C_CUSTKEY) PARTITION NUM 32
TABLEGROUP tpch_50x_group
OPTIONS (UPDATETYPE='realtime')
COMMENT '';CREATE DIMENSION TABLE nation (n_nationkey int COMMENT '',n_name varchar COMMENT '',n_regionkey int COMMENT '',n_comment varchar COMMENT '',PRIMARY KEY (N_NATIONKEY)
)
OPTIONS (UPDATETYPE='realtime')
COMMENT '';

其中customer表有7,500,000条数据，nation表有25条数据。

DLA映射北京region的ADB实例

由于使用的是上海region的DLA服务，所以，需要通过公网访问该北京region的ADB实例的经典网络地址：ads-dla-test-f508cb23.cn-beijing-1.ads.aliyuncs.com:10006（跨region访问不能走VPC，网络不通）

连接上海region的DLA服务，执行如下建库和建表命令，映射指向北京region ADB实例和customer表。

CREATE DATABASE `beijing_public_ads_dla_test`
WITH DBPROPERTIES (catalog = 'ads',location = 'jdbc:mysql://ads-dla-test-f508cb23.cn-beijing-1.ads.aliyuncs.com:10006/ads_dla_test',instance = 'ads_dla_test',user = 'L*T',password = '****'
)
COMMENT '';CREATE EXTERNAL TABLE IF NOT EXISTS `customer` (`c_custkey` INT NULL COMMENT '',`c_name` STRING NULL COMMENT '',`c_address` STRING NULL COMMENT '',`c_nationkey` INT NULL COMMENT '',`c_phone` STRING NULL COMMENT '',`c_acctbal` DOUBLE NULL COMMENT '',`c_mktsegment` STRING NULL COMMENT '',`c_comment` STRING NULL COMMENT ''
);CREATE EXTERNAL TABLE IF NOT EXISTS nation (n_nationkey int COMMENT '',n_name varchar COMMENT '',n_regionkey int COMMENT '',n_comment varchar COMMENT ''
);

DLA映射上海region的ADB实例

由于使用的是上海region的DLA服务，所以，可以通过VPC网络地址访问同上海region的ADB实例：dla-data-4d5443bf-vpc.cn-shanghai-1.ads.aliyuncs.com:10001

注意：为ADB生成的VPC URL必须是为

连接上海region的DLA服务，执行如下建库和建表命令，映射指向上海region ADB实例和customer表。

CREATE DATABASE `shanghai_vpc_dla_data`
WITH DBPROPERTIES (catalog = 'ads',location = 'jdbc:mysql://dla-data-4d5443bf-vpc.cn-shanghai-1.ads.aliyuncs.com:10001/dla_data',instance = 'dla_data',user = 'L*M',password = '****'
)
COMMENT '';CREATE EXTERNAL TABLE IF NOT EXISTS `customer` (`c_custkey` INT NULL COMMENT '',`c_name` STRING NULL COMMENT '',`c_address` STRING NULL COMMENT '',`c_nationkey` INT NULL COMMENT '',`c_phone` STRING NULL COMMENT '',`c_acctbal` DOUBLE NULL COMMENT '',`c_mktsegment` STRING NULL COMMENT '',`c_comment` STRING NULL COMMENT ''
);CREATE EXTERNAL TABLE IF NOT EXISTS nation (n_nationkey int COMMENT '',n_name varchar COMMENT '',n_regionkey int COMMENT '',n_comment varchar COMMENT ''
);

查询

如下是按照国家统计客户的数量的查询示例，由于上述两个ADB实例中的两张表的数据相同，所以通过DLA查询，下面四个查询的结果是相同的。查询是通过上海region的DLA执行的：

查询1：北京region ADB的customer表join北京region ADB的nation表；

SELECT a.c_nationkey, b.n_name, count(*) as cnt
FROM beijing_public_ads_dla_test.customer a
JOIN beijing_public_ads_dla_test.nation b ON a.c_nationkey = b.n_nationkey
GROUP BY a.c_nationkey, b.n_name
ORDER BY cnt DESC;

查询2：上海region ADB的customer表join上海region ADB的nation表；

SELECT a.c_nationkey, b.n_name, count(*) as cnt
FROM shanghai_vpc_dla_data.customer a
JOIN shanghai_vpc_dla_data.nation b ON a.c_nationkey = b.n_nationkey
GROUP BY a.c_nationkey, b.n_name
ORDER BY cnt DESC;

查询3：上海region ADB的customer表join北京region ADB的nation表；

SELECT a.c_nationkey, b.n_name, count(*) as cnt
FROM shanghai_vpc_dla_data.customer a
JOIN beijing_public_ads_dla_test.nation b ON a.c_nationkey = b.n_nationkey
GROUP BY a.c_nationkey, b.n_name
ORDER BY cnt DESC;

查询4：北京region ADB的customer表join上海region ADB的nation表；

SELECT a.c_nationkey, b.n_name, count(*) as cnt
FROM beijing_public_ads_dla_test.customer a
JOIN shanghai_vpc_dla_data.nation b ON a.c_nationkey = b.n_nationkey
GROUP BY a.c_nationkey, b.n_name
ORDER BY cnt DESC;

写入

通过DLA执行INSERT from SELECT，将其他数据源的查询结果写入ADB数据源中。

在DLA中执行如下语句，指向上海region的OSS bucket建库、建表：

CREATE DATABASE `tpch_50x_text`
WITH DBPROPERTIES (catalog = 'oss',location = 'oss://oss-****/datasets/tpch/50x/text_date/'
)
COMMENT '';CREATE EXTERNAL TABLE `tpch_50x_text`.`nation` (`n_nationkey` int,`n_name` string,`n_regionkey` int,`n_comment` string
)
ROW FORMAT DELIMITEDFIELDS TERMINATED BY '|'
STORED AS `TEXTFILE`
LOCATION 'oss://oss-****/datasets/tpch/50x/text_date/nation_text';

更多关于DLA对OSS的数据查询，请参考：
https://yq.aliyun.com/articles/623282 (教程：使用Data Lake Analytics + OSS分析CSV格式的TPC-H数据集)
https://yq.aliyun.com/articles/623246 (教程：Data Lake Analytics + OSS数据文件格式处理大全)
https://yq.aliyun.com/articles/623247 (Data Lake Analytics中OSS LOCATION的使用说明)
https://yq.aliyun.com/articles/624151 (教程：如何使用Data Lake Analytics创建分区表)
https://yq.aliyun.com/articles/679405 (使用Data Lake Analytics快速分析OSS上的日志文件)
https://yq.aliyun.com/articles/672475 (教程：如何通过DLA实现数据文件格式转换)

如下示例场景：

通过上海region DLA服务，将上海region的OSS bucket数据写入上海region的ADB中：

INSERT INTO shanghai_vpc_dla_data.nation
SELECT * FROM tpch_50x_text.nation;

通过上海region DLA服务，将上海region的OSS bucket数据写入北京region的ADB中：（由于需要跨region的公网访问，建议该模式下数据量不要太大）

INSERT INTO beijing_public_ads_dla_test.nation
SELECT * FROM tpch_50x_text.nation;

通过上海region DLA服务，将上海region的ADB数据写入北京region的ADB中：（由于需要跨region的公网访问，建议该模式下数据量不要太大）

INSERT INTO beijing_public_ads_dla_test.nation
SELECT * FROM shanghai_vpc_dla_data.nation;

通过上海region DLA服务，将北京region的ADB数据写入上海region的ADB中：（由于需要跨region的公网访问，建议该模式下数据量不要太大）

INSERT INTO shanghai_vpc_dla_data.nation
SELECT * FROM beijing_public_ads_dla_test.nation;

原文链接
本文为云栖社区原创内容，未经允许不得转载。