mysql 分表 存储过程,通用分表存储过程
通用分表存储过程
使用创建分表存储过程
Java代码
set @field_list ='
`syslog_id` int(11) NOT NULL AUTO_INCREMENT,
`create_user` varchar(32) DEFAULT NULL,
PRIMARY KEY (`syslog_id`)
';
call branch_table('test', @field_list, 4, 2);
创建分表存储过程
Java代码
DROP PROCEDURE IF EXISTS `branch_table`;
CREATE PROCEDURE `branch_table`(
IN p_table_name VARCHAR(200),
IN p_field_list VARCHAR(2048),
IN p_branch_size INT,
in p_lpad INT
)
BEGIN
/*定义变量*/
DECLARE m_begin_row INT DEFAULT 0;
WHILE m_begin_row
/*构造语句*/
SET @MAIN_STRING = CONCAT('CREATE TABLE ', p_table_name, '_', LPAD(m_begin_row, p_lpad, 0), '(', p_field_list ,')ENGINE=InnoDB DEFAULT CHARSET=utf8;');
/*预处理*/
PREPARE main_stmt FROM @MAIN_STRING;
EXECUTE main_stmt;
SET m_begin_row=m_begin_row+1;
END WHILE;
END;
前期没有分表数据量太大后期拆表用的MySQL存储过程
简单的办法是直接写
--假设根据user_id分表,分成64张
Java代码
insert into table_new_0000 select * from table_old where mod(user_id,64)=0;
insert into table_new_0001 select * from table_old where mod(user_id,64)=1;
一共64条sql,OK 搞定。但是这个一张表被全表扫描了64次,做的无用功比较多,而且导致停机时间比较长
创建分表
Java代码
delimeter //
--- 全量脚本:
CREATE PROCEDURE sp_xf_move_item()
begin
declare v_exit int default 0;
declare v_spid bigint;
declare v_id bigint;
declare i int default 0;
declare c_table int;
--定义游标(要分拆的表,定义一个数量的截止时间)
declare c_ids cursor for select id,user_id from item_records_0000 where gmt_modified < '2010-8-25 00:00:00';
declare continue handler for not found set v_exit=1;
open c_ids;
repeat
--将需要的值装入变量
fetch c_ids into v_id,v_spid;
if v_exit = 0 then
set @vv_id = v_id;
--根据取模字段获取数据存在的表
select mod(v_spid,64) into c_table;
--组装动态sql
SET @SQL_CONTEXT =
CONCAT('insert into item_record_',
LPAD(c_table, 4, 0),
' select * from item_records_0000 where id = ?');
PREPARE STMT FROM @SQL_CONTEXT;
--执行sql
EXECUTE STMT using @vv_id;
DEALLOCATE PREPARE STMT;
end if;
set ii=i+1;
--100条提交一次,以提高效率,记得执行存储过程前设置auto_commit
if mod(i,100)=0 then commit;
end if;
until v_exit=1
end repeat;
close c_ids;
commit;
end;
//
set auto_commit=0;
call sp_xf_move_item();
添加数据
Java代码
#### 增量脚本 ######
CREATE PROCEDURE sp_xf_add_item()
begin
declare v_exit int default 0;
declare v_spid bigint;
declare v_id bigint;
declare i int default 0;
declare c_table int;
declare c_ids cursor for select id,supplier_id from item_records_0000 where gmt_modified >= '2010-8-25 00:00:00';
declare continue handler for not found set v_exit=1;
open c_ids;
repeat
fetch c_ids into v_id,v_spid;
if v_exit = 0 then
set @vv_id = v_id;
set @v_row=0;
select mod(v_spid,64) into c_table;
--判断数据是否已经存在
SET @SQL_C =
CONCAT('select count(*) into @v_row from item_record_',
LPAD(c_table, 4, 0),
' where id = ?');
PREPARE STMT_C FROM @SQL_C;
EXECUTE STMT_C using @vv_id;
DEALLOCATE PREPARE STMT_C;
SET @SQL_INSERT =
CONCAT('insert into bbc_item_record_',
LPAD(c_table, 4, 0),
' select * from item_records_0000 where id = ?');
PREPARE STMT_I FROM @SQL_INSERT;
SET @SQL_DELETE =
CONCAT('DELETE FROM bbc_item_record_',
LPAD(c_table, 4, 0),
' where id = ?');
PREPARE STMT_D FROM @SQL_DELETE;
--如果数据已经存在,则先delete在insert
if @v_row>0 then
EXECUTE STMT_D using @vv_id;
DEALLOCATE PREPARE STMT_D;
end if;
EXECUTE STMT_I using @vv_id;
DEALLOCATE PREPARE STMT_I;
end if;
set ii=i+1;
if mod(i,100)=0 then commit;
end if;
until v_exit=1
end repeat;
close c_ids;
commit;
end;
//
call sp_xf_add_item()
http://www.dengb.com/Mysql/487735.htmlwww.dengb.comtruehttp://www.dengb.com/Mysql/487735.htmlTechArticle通用分表存储过程 使用创建分表存储过程 Java代码 set @field_list = `syslog_id` int(11) NOT NULL AUTO_INCREMENT, `create_user` varchar(32) DEFAULT NULL, PRIMARY KE...
mysql 分表 存储过程,通用分表存储过程相关推荐
- mysql语句:索引,游标,存储过程,视图,分区,分库分表,数据库集群,数据库负载均衡...
为什么80%的码农都做不了架构师?>>> 学会数据库是很实用D~~记录一些常用的sql语句...有入门有提高有见都没见过的...好全...收藏下... 其实一般用的就是查询,插 ...
- 分享改进 高性能通用分表归档存储过程测试结果更新
因高层突然变卦 要以存储过程来完成订单的拆分归档工作 所以虫子的同步工具先暂时搁置一段时间. 详细设计参考原理篇 更新一下测试结果 旧的测试结果放在下面 前一篇关于限制性开源的文章先删除 因为是企业在 ...
- mysql 分表原理_MYSQL 分表原理(转)
简介: 引用MySQL官方文档中的一段话:MERGE存储引擎,也被认识为MRG_MyISAM引擎,是一个相同的可以被当作一个来用的MyISAM表的集合."相同"意味着所有表同样的列 ...
- mysql如何根据业务分表设计_mysql分表分库的应用场景和设计方式
很多朋友在论坛和留言区域问mysql在什么情况下才需要进行分库分表,以及采用何种设计方式才是最优的选择,根据这些问题,小编为大家整理了关于MySQL分库分表的应用场景和最优的设计方式举例. 一. 分表 ...
- MySQL:互联网公司常用分库分表方案汇总!
本文来源: cnblogs.com/littlecharacter/p/9342129.html 一.数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数 ...
- mysql表分区和表空间_mysql分表和分区的区别浅析
一.什么是mysql分表和分区 什么是分表,从表面意思上看呢,就是把一张表分成N多个小表 什么是分区,分区呢就是把一张表的数据分成N多个区块,这些区块可以在同一个磁盘上,也可以在不同的磁盘上 二.my ...
- Mysql系列七:分库分表技术难题之分布式全局唯一id解决方案
Mysql系列七:分库分表技术难题之分布式全局唯一id解决方案 参考文章: (1)Mysql系列七:分库分表技术难题之分布式全局唯一id解决方案 (2)https://www.cnblogs.com/ ...
- mysql+join+分库分表_MySQL分库分表篇
传统项⽬结构 数据库性能瓶颈: 1.数据库连接数有限 MySQL数据库默认100个连接.单机最⼤1500连接. 2.表数据量 1)表数量多,成百上千 2)单表数据,千万级别 3)索引,命中率问题,索引 ...
- mysql分库分区分表怎么做_mysql 分区、分表、分库分表。
一,什么是mysql分表,分区 什么是分表,从表面意思上看呢,就是把一张表分成N多个小表,具体请看:mysql分表的3种方法 什么是分区,分区呢就是把一张表的数据分成N多个区块,这些区块可以在同一个磁 ...
- MySQL利用存储过程清除所有表中的所有记录
MySQL利用存储过程清除所有表中的所有记录 在使用MySQL过程中,难免会出现一些测试数据,然而这些测试数据在真正部署运行的时候,通常要被清楚掉,并且自增长的字段要回复初始值.如何高效快速的实现以上 ...
最新文章
- Callable、Future和FutureTask
- ios点击大头针气泡不弹出_地图大头针气泡点击事件
- JSTL标签显示分页
- 深度学习(三十三)——GAN参考资源
- CVE-2021-30116: Kaseya VSA 远程代码执行漏洞
- 关于java集合的知识点_java中集合的知识点
- 《剑指offer》第五十八题(左旋转字符串)
- mysql now()相减_MySQL 时间函数加减计算
- javacv使用详解
- python操作mysql批量插入
- python flask服务器_flask应用部署到服务器
- LT8618SXB-HDMI发射器,运行功率小于100mA播放24bit 1080P内容,待机功率小于2mA
- ShaderMap Pro(贴图制作转换生成工具)v1.3.1官方版
- 让zotero支持markdown笔记
- linux环境vmd安装,Ubuntu下VMD安装
- ununtun学习系列1--- sudo update与upgrade区别
- MySQL存储过程中利用do while循环实现将行与行具有层级关系(联系)的行值检索出来
- java 交易金额转换分,java金额元与分转换工具种
- 双臂魔方机器人的学习
- 云服务器的IP是显示哪里,云服务器的ip在哪里看
热门文章
- 3月24 matlab函数polyfit(x,y,n)分析
- The Robustness of Deep Networks A geometrical perspective论文解读
- 【77.39%】【codeforces 734A】Anton and Danik
- 同程艺龙10月初赴港IPO,小程序里又走出一家上市公司
- Scala进阶之路-尾递归优化
- linker command failed with exit code 1
- 1.2、Mybatis二级缓存测试
- python相关参考地址收藏
- LCD 驱动的整体分析。
- Java-static概述