Citus数据分片分布研究（一在工作节点直接操作表）

（本文中凡是未显式指出的SQL，均在协调节点上执行）

工作节点

mydb1=# SELECT * FROM master_get_active_worker_nodes();node_name   | node_port
---------------+-----------192.168.7.131 |      5432192.168.7.135 |      5432192.168.7.136 |      5432192.168.7.137 |      5432192.168.7.133 |      5432192.168.7.132 |      5432192.168.7.134 |      5432192.168.7.130 |      5432
(8 rows)

创建表test_table

create table test_table(id int, name varchar(16));

此时在协调节点上用 \d 可以看到表test_table。

配置分片原则

SELECT master_create_distributed_table('test_table', 'id', 'hash');

根据分片数和副本数进行分片

SELECT master_create_worker_shards('test_table', 8, 1);

此时在工作节点上用 \d 可以看到表test_table_XXXXXX。

查看分片

mydb1=# SELECT * from pg_dist_shard;logicalrelid | shardid | shardstorage | shardminvalue | shardmaxvalue
--------------+---------+--------------+---------------+---------------test_table   |  102024 | t            | -2147483648   | -1610612737test_table   |  102025 | t            | -1610612736   | -1073741825test_table   |  102026 | t            | -1073741824   | -536870913test_table   |  102027 | t            | -536870912    | -1test_table   |  102028 | t            | 0             | 536870911test_table   |  102029 | t            | 536870912     | 1073741823test_table   |  102030 | t            | 1073741824    | 1610612735test_table   |  102031 | t            | 1610612736    | 2147483647
(8 rows)

可见，工作节点上的表名test_table_XXXXXX中最后的一段数字，即是这里的shardid。

操作表test_table

mydb1=# INSERT INTO test_table VALUES(1,'a');
INSERT 0 1
mydb1=# INSERT INTO test_table VALUES(2,'b');
INSERT 0 1
mydb1=# INSERT INTO test_table VALUES(3,'c');
INSERT 0 1
mydb1=# INSERT INTO test_table VALUES(4,'d');
INSERT 0 1
mydb1=# INSERT INTO test_table VALUES(5,'e');
INSERT 0 1
mydb1=# INSERT INTO test_table VALUES(6,'f');
INSERT 0 1
mydb1=# INSERT INTO test_table VALUES(7,'g');
INSERT 0 1
mydb1=# INSERT INTO test_table VALUES(8,'h');
INSERT 0 1
mydb1=# select * from test_table;id | name
----+------1 | a8 | h5 | e4 | d7 | g3 | c6 | f2 | b
(8 rows)

在工作节点上直接操作表

在worker node上执行：

mydb1=# select * from test_table_102024;
 id | name
----+------
  1 | a
  8 | h
(2 rows)

可见表test_table的记录是根据id列hash散布在8个工作节点中的。
尝试直接向工作节点插入数据，在worker node上执行：

mydb1=# INSERT INTO test_table_102024 VALUES(999,'999');
INSERT 0 1

然后再进行查询：

mydb1=# select * from test_table_102024;
 id  | name
-----+------
   1 | a
   8 | h
 999 | 999
(3 rows)

在协调节点coordinator node上进行查询：

mydb1=# select * from test_table;id  | name
-----+------1 | a8 | h999 | 9995 | e4 | d7 | g3 | c6 | f2 | b
(9 rows)

可见直接对工作节点进行的数据操作，可以在协调节点正常访问（但是没按照id进行哈希分布）。

Citus数据分片分布研究（一在工作节点直接操作表）相关推荐

Citus数据分片分布研究（二副本与故障）
(本文中凡是未显式指出的SQL,均在协调节点上执行) 工作节点 mydb1=# SELECT * FROM master_get_active_worker_nodes();node_name | n ...
Citus数据分片分布研究（三节点故障的手动修复）
服务器主机配置: CPU:单核2GHz RAM:2GB DISK:30GB HDD Citus部署配置: Coordinator X 1 (192.168.7.129) Worker X 2 (192 ...
一文讲透，分布式系统的数据分片难题
一般来说,数据分片是将整体数据分摊在多个存储设备上,这样每个存储设备的数据量相对就会小很多,以此满足系统的性能需求.本文主要讨论数据分片的三个问题:如何做数据分片.数据分片的特征值以及数据分片元数据的 ...
ICDE 2022 | Apache ShardingSphere: 一个功能全面和可插拔的数据分片平台(附论文)
相信大家在网上抢购时遇到过网页无法正常访问的情况,一部分原因可能是数据库无法很好地应对不断增加的并发访问.如何有效地解决数据库现有的这些缺陷呢?数据分片是一个可选的方案.本篇文章将为大家解读由重庆大学 ...
数据有价——数据资产定价研究初探
数据(Data)是一项资产的观念形成虽然时间不长,但已经成为人们的共识.成为资产的两个基本前提条件是能够确权和定价.确权是确定谁拥有什么权利或权益,定价使得资产具备可转让性.相比其他资产类别,数据资产 ...
[原创]分布式系统之缓存的微观应用经验谈（三）【数据分片和集群篇】
分布式系统之缓存的微观应用经验谈(三)[数据分片和集群篇] 前言近几个月一直在忙些琐事,几乎年后都没怎么闲过.忙忙碌碌中就进入了2018年的秋天了,不得不感叹时间总是如白驹过隙,也不知道收获了什么和 ...
分布式存储系统设计（2）—— 数据分片
在分布式存储系统中,数据需要分散存储在多台设备上,数据分片(Sharding)就是用来确定数据在多台存储设备上分布的技术.数据分片要达到三个目的: 分布均匀,即每台设备上的数据量要尽可能相近: 负载均 ...
大数据图数据库之数据分片
节选自<大数据日知录:架构与算法>十四章,书籍目录在此对于海量待挖掘数据,在分布式计算环境下,首先面临的问题就是如何将数据比较均匀地分配到不同的服务器上.对于非图数据来说,这个问题解决起 ...
基于区块链技术的数据资产管理机制研究
点击上方蓝字关注我们基于区块链技术的数据资产管理机制研究赵明1, 董大治2 1 海军装备部,北京 100841 2 中国人民解放军91001部队,北京 100841 摘要:使用区块链技术可以保证数 ...

Citus数据分片分布研究（一在工作节点直接操作表）

工作节点

创建表test_table

配置分片原则

根据分片数和副本数进行分片

查看分片

操作表test_table

在工作节点上直接操作表

Citus数据分片分布研究（一在工作节点直接操作表）相关推荐

最新文章

热门文章

Citus数据分片分布研究（一 在工作节点直接操作表）

工作节点

创建表test_table

配置分片原则

根据分片数和副本数进行分片

查看分片

操作表test_table

在工作节点上直接操作表

Citus数据分片分布研究（一 在工作节点直接操作表）相关推荐

最新文章

热门文章

Citus数据分片分布研究（一在工作节点直接操作表）

Citus数据分片分布研究（一在工作节点直接操作表）相关推荐