MySQL分库分表使用Snowflake全局ID生成器(3rd)
前言
由于考虑到以后要动态切分数据,防止将不同表切分数据到同一个表中时出现主键相等的冲突情况,这里我们使用一个全局ID生存器。重要的是他是自增的。
这边我使用Snowflake的python实现版(pysnowflake)。当然你也可以使用java实现版.
具体详细信息:http://pysnowflake.readthedocs.org/en/latest/
Snowflake的使用
安装 requests
pip install requests
安装 pysnowflake
pip install pysnowflake
启动pysnowflake服务
snowflake_start_server \
--address=192.168.137.11 \
--port=30001 \
--dc=1 \
--worker=1 \
--log_file_prefix=/tmp/pysnowflask.log
--address:本机的IP地址默认localhost这里解释一下参数意思(可以通过--help来获取):
--dc:数据中心唯一标识符默认为0
--worker:工作者唯一标识符默认为0
--log_file_prefix:日志文件所在位置
使用示例(这边引用官网的)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
>>> import snowflake.client
# 链接服务端并初始化一个pysnowflake客户端
>>> host = '192.168.137.11'
>>> port = 30001
>>> snowflake.client.setup(host, port)
# 生成一个全局唯一的ID(在MySQL中可以用BIGINT UNSIGNED对应)
>>> snowflake.client.get_guid()
3631957913783762945
# 查看当前状态
>>> snowflake.client.get_stats()
{
'dc' : 1 ,
'worker' : 1 ,
'timestamp' : 1454126885629 , # current timestamp for this worker
'last_timestamp' : 1454126890928 , # the last timestamp that generated ID on
'sequence' : 1 , # the sequence number for last timestamp
'sequence_overload' : 1 , # the number of times that the sequence is overflow
'errors' : 1 , # the number of times that clock went backward
}
|
数据整理重建ID
重建ID是一个很庞大的工程,首先要很了解表的结构。不然,如果少更新了某个表的一列都会导致数据的不一致。
当然,如果你的表中有很强的外键以及设置了级联那更新一个主键会更新其他相关联的外键。这里我还是不建议去依赖外键级联更新来投机取巧毕竟如果有数据库的设计在项目的里程碑中经过了n次变化,也不能肯定设置的外键一定是级联更新的。
在这边我强烈建议重建ID时候讲MySQL中的检查外键的参数设置为0。
1
|
SET FOREIGN_KEY_CHECKS=0;
|
小提示:其实理论上我们是没有必要重建ID的因为原来的ID已经是唯一的了而且是整型,他兼容BIGINT。但是这里我还是做了重建,主要是因为以后的数据一致。并且如果有些人的ID不是整型的,而是有一定含义的那时候也肯定需要做ID的重建。
修改相关表ID的数据类型为BIGINT
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
-- 修改商品表 goods_id 字段
ALTER TABLE goods_1
MODIFY COLUMN goods_id BIGINT UNSIGNED NOT NULL
COMMENT '商品ID' ;
-- 修改出售订单表 goods_id 字段
ALTER TABLE sell_order_1
MODIFY COLUMN sell_order_id BIGINT UNSIGNED NOT NULL
COMMENT '出售订单ID' ;
-- 修改购买订单表 buy_order_id 字段
ALTER TABLE buy_order_1
MODIFY COLUMN buy_order_id BIGINT UNSIGNED NOT NULL
COMMENT '出售订单ID与出售订单相等' ;
-- 修改订单商品表 order_goods_id、orders_id、goods_id 字段
ALTER TABLE order_goods_1
MODIFY COLUMN order_goods_id BIGINT UNSIGNED NOT NULL
COMMENT '订单商品表ID' ;
ALTER TABLE order_goods_1
MODIFY COLUMN sell_order_id BIGINT UNSIGNED NOT NULL
COMMENT '订单ID' ;
ALTER TABLE order_goods_1
MODIFY COLUMN goods_id BIGINT UNSIGNED NOT NULL
COMMENT '商品ID' ;
|
使用python重建ID
使用的python 模块:
这边只展示主程序:完整的程序在附件中都有
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
|
if __name__ = = '__main__' :
# 设置默认的数据库链接参数
db_config = {
'user' : 'root' ,
'password' : 'root' ,
'host' : '127.0.0.1' ,
'port' : 3306 ,
'database' : 'test'
}
# 设置snowflake链接默认参数
snowflake_config = {
'host' : '192.168.137.11' ,
'port' : 30001
}
rebuild = Rebuild()
# 设置数据库配置
rebuild.set_db_config(db_config)
# 设置snowflak配置
rebuild.set_snowflake_config(snowflake_config)
# 链接配置snowflak
rebuild.setup_snowflake()
# 生成数据库链接和
rebuild.get_conn_cursor()
##########################################################################
## 修改商品ID
##########################################################################
# 获得商品的游标
goods_sql = '''
SELECT goods_id FROM goods
'''
goods_iter = rebuild.execute_select_sql([goods_sql])
# 根据获得的商品ID更新商品表(goods)和订单商品表(order_goods)的商品ID
for goods in goods_iter:
for (goods_id, ) in goods:
rebuild.update_table_id( 'goods' , 'goods_id' , goods_id)
rebuild.update_table_id( 'order_goods' , 'goods_id' , goods_id, rebuild.get_current_guid())
rebuild.commit()
##########################################################################
## 修改订单ID, 这边我们规定出售订单ID和购买订单ID相等
##########################################################################
# 获得订单的游标
orders_sql = '''
SELECT sell_order_id FROM sell_order_1
'''
sell_order_iter = rebuild.execute_select_sql([orders_sql])
# 根据出售订单修改 出售订单(sell_order_1)、购买订单(buy_order_1)、订单商品(order_goods)的出售订单ID
for sell_order_1 in sell_order_iter:
for (sell_order_id, ) in sell_order_1:
rebuild.update_table_id( 'sell_order_1' , 'sell_order_id' , sell_order_id)
rebuild.update_table_id( 'buy_order_1' , 'buy_order_id' , sell_order_id, rebuild.get_current_guid())
rebuild.update_table_id( 'order_goods' , 'sell_order_id' , sell_order_id, rebuild.get_current_guid())
rebuild.commit()
##########################################################################
## 修改订单商品表ID
##########################################################################
# 获得订单商品的游标
order_goods_sql = '''
SELECT order_goods_id FROM order_goods
'''
order_goods_iter = rebuild.execute_select_sql([order_goods_sql])
for order_goods in order_goods_iter:
for (order_goods_id, ) in order_goods:
rebuild.update_table_id( 'order_goods' , 'order_goods_id' , order_goods_id)
rebuild.commit()
# 关闭游标
rebuild.close_cursor( 'select' )
rebuild.close_cursor( 'dml' )
# 关闭连接
rebuild.close_conn()
|
完整的python程序:rebuild_id.py
执行程序
python rebuild_id.py
最后查看表的结果
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
SELECT * FROM goods LIMIT 0, 1;
+ ---------------------+------------+---------+----------+
| goods_id | goods_name | price | store_id |
+ ---------------------+------------+---------+----------+
| 3791337987775664129 | goods1 | 9369.00 | 1 |
+ ---------------------+------------+---------+----------+
SELECT * FROM sell_order_1 LIMIT 0, 1;
+ ---------------------+---------------+---------+---------+--------+
| sell_order_id | user_guide_id | user_id | price | status |
+ ---------------------+---------------+---------+---------+--------+
| 3791337998693437441 | 1 | 10 | 5320.00 | 1 |
+ ---------------------+---------------+---------+---------+--------+
SELECT * FROM buy_order_1 LIMIT 0, 1;
+ ---------------------+---------+---------------+
| buy_order_id | user_id | user_guide_id |
+ ---------------------+---------+---------------+
| 3791337998693437441 | 10 | 1 |
+ ---------------------+---------+---------------+
SELECT * FROM order_goods LIMIT 0, 1;
+ ---------------------+---------------------+---------------------+---------------+---------+------+
| order_goods_id | sell_order_id | goods_id | user_guide_id | price | num |
+ ---------------------+---------------------+---------------------+---------------+---------+------+
| 3792076554839789569 | 3792076377064214529 | 3792076372429508609 | 1 | 9744.00 | 2 |
+ ---------------------+---------------------+---------------------+---------------+---------+------+
|
建议:如果在生产上有使用到snowflake请务必要弄一个高可用防止单点故障,具体策略看你们自己定啦。
出自:http://www.ttlsa.com/mysql/mysql-distributed-database-and-table-snowflake-unique-id/
本文转自027ryan 51CTO博客,原文链接:http://blog.51cto.com/ucode/1746016,如需转载请自行联系原作者
MySQL分库分表使用Snowflake全局ID生成器(3rd)相关推荐
- 【转】MySQL分库分表环境下全局ID生成方案
转载一篇博客,里面有很多的知识和思想值得我们去思考. ---------------------------------------------------------------------- 在大 ...
- MySQL分库分表环境下全局ID生成方案
参考:http://www.cnblogs.com/qiumingcheng/p/5409491.html http://geek.csdn.net/news/detail/72973
- MySQL分库分表会带来哪些问题?分库分表问题
MySQL分库分表会带来哪些问题? 分库分表能有效的环节单机和单库带来的性能瓶颈和压力,突破网络IO.硬件资源.连接数的瓶颈,同时也带来了一些问题.下面将描述这些技术挑战以及对应的解决思路. 分库分表 ...
- MySQL分库分表和优化
第九阶段模块三 分库分表技术之MyCat 1.海量存储问题 1.1 背景描述 随着互联网的发展,数据的量级也是成指数的增长,从GB到TB到PB.对数据的各种操作也是愈加的困难,传统的关系性数据库已经无 ...
- mysql分库分表分页查询语句_MySQL分库分表分库后的查询(8th)
前言 这边我们以使用python程序要展示一下再分库分表后,我们需要如何对数据库进行操作. python操作数据库 我们这边还是沿用之前的那5中:场景1:购买者下订单#!/usr/bin/env py ...
- MySQL运维(二)MySQL分库分表概念及实战、读取分离详解
MySQL运维(二)MySQL分库分表详解.读取分离详解 1.MySQL分库分表相关概念 1.1 分库分表概念 1.1.1 分库的原因 分库:就是一个数据库分成多个数据库,部署到不同机器. 如果业务量 ...
- 使用Sharding-Proxy完成mysql分库分表和主从复制
上篇文章,实验了主从mysql复制,这次在上篇文章的基础上,完成mysql分库分表并测试主从复制. 下载Sharding-Proxy https://archive.apache.org/dist/i ...
- 最全的MySQL分库分表方案总结
" 面试中我们经常会碰到的关于分库分表的问题!今天就给大家介绍互联网公司常用 MySQL 分库分表方案!希望对大家的面试有所帮助! 数据库瓶颈 不管是 IO 瓶颈,还是 CPU 瓶颈,最终都 ...
- 技术解析|Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once精准接入
本篇文档将演示如何使用 Apache Doris Flink Connector 结合 Flink CDC 以及 Doris Stream Load 的两阶段提交,实现 MySQL 数据库分库分表实时 ...
最新文章
- 简单ThreadPool实现
- Go 公布 2.0 设计草案:主打规模化和扩展性,支持泛型
- Linux Kernel TCP/IP Stack — L1 Layer — 多队列网卡
- 皮一皮:如此父母...究竟是好还是不好(沉思)...
- BAT无线工程师面试流程详细解析
- [数论]拓展中国剩余定理
- 如何基于Spark进行用户画像?
- 项目中要使用到动态规划该怎么应用,怎么说?
- html5图片怎么顶格,iQOO 5系列几乎达到了“顶格”的性能状态。
- 邀请函|WorkShop报名通道开启,来就送礼!
- java 可变参数方法_Java方法中的参数太多,第7部分:可变状态
- LeetCode 1808. 好因子的最大数目(整数拆分,乘积最大)
- ListObject 多条件去重
- 执行nvidia-smi出错
- Eclipse MAT 安装及使用
- LeetCode刷题——392. 判断子序列
- 命令行参数解析函数 getopt
- 感谢有你,一路同行,历史文章汇总,涉及STM32、模块使用、传感器、物联网、鸿蒙、仿真和综合实例等嵌入式的方方面面,欢迎关注。
- 计算机利弊英语作文带翻译,电脑的弊英语作文带翻译
- 人工智能 机器学习 数据挖掘 数据分析 算法大全