ClickHouse 分布式表创建细节

记录一次创建分布式表的过程。

背景

ClickHouse服务器数量：10
需创建本地表（local）与分布式表

问题发现

创建本地表的过程中未出现问题，一切正常。(具体的创表语句简略如下)

CREATE TABLE dbtest.tb_test_local ON CLUSTER cluster_test
(`id` Int32,`date` Date,...
)
ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/{layer}-{shard}/tb_test_local', '{replica}')
PARTITION BY toYYYYMMDD(date)
ORDER BY (date,id)
SETTINGS index_granularity = 8192

创建分布式表示报错，显示权限不够。（具体的创表语句简略如下）

CREATE TABLE dbtest.tb_test ON CLUSTER cluster_test AS dbtest.tb_test_local
ENGINE = Distributed('cluster_test', 'dbtest', 'tb_test_local', intHash64(date,id));

报错信息为：

DB::Exception: user_test: Not enough privileges. To execute this query it’s necessary to have grant REMOTE ON *.*

意思是说缺少REMOTE权限。

排查原因

去ClickHouse官方文档，查看remote权限

如果允许在table engines和table functions中使用外部数据源，则需要授予SOURCES权限。

个人理解：创建分布式表时，Distributed引擎需要指定集群名、远程数据库名、远程表名和数据分片键。分布式表需要去关联集群上所有服务器下的远程表（我们建立的本地local表），因此需要使用外部数据源。

外部数据源：用于连接数据库的一组存储的“源”信息。数据源包含数据库服务器的名称和位置、数据库驱动程序的名称以及在登录到数据库时所需的信息。

查看user_test用户的权限

show grants for user_test;

得到结果为

GRANT SELECT, INSERT, ALTER, CREATE DATABASE, CREATE TABLE, CREATE VIEW, CREATE DICTIONARY ON dbtest.* TO user_test

发现user_test用户确实不存在SOURCES权限。

解决问题

授予用户user_test SOURCES权限

GRANT SOURCES  ON dbtest.* TO user_test;

报错：

Exception on client:
Code: 509. DB::Exception: SOURCES cannot be granted on the database level

原因是由于SOURCES权限不是数据库等级的权限，所以在指定数据库范围时，应全量覆盖。

即：

GRANT SOURCES  ON *.* TO user_test;

再次查看用户user_test权限得到的结果为：

GRANT SOURCES ON *.* TO user_test
GRANT SELECT, INSERT, ALTER, CREATE DATABASE, CREATE TABLE, CREATE VIEW, CREATE DICTIONARY ON dbtest.* TO user_test

执行创建分布式表语句

CREATE TABLE dbtest.tb_test ON CLUSTER cluster_test AS dbtest.tb_test_local
ENGINE = Distributed('cluster_test', 'dbtest', 'tb_test_local', intHash64(date,id));

创建成功！

附一个查询集群服务器数据库下所有表的脚本，方便查看集群上所有服务器是否都创建成功。

for i in { ip段 };
do echo ${i};
clickhouse-client -h i --port 9900 -u 用户名--password 密码-m -d 数据库名称 -q "show tables;";
done