mysql 快速初始化_MySQL中的批量初始化数据的对比测试(r12笔记第71天)
一直以来对于MySQL的存储过程性能还是颇有微词的,说实话够慢的。有时候想做一些对比测试,存储过程初始化几万条数据都得好一会儿,这功夫Oracle类似的测试早都做完了,今天就赶个晚班车,把这个没做完的任务完成了。
我大体测试了一下,以100万数据为基准,初始化性能的提升会从近8分钟提升到10多秒钟。
我自己尝试了以下4种方案。
1.存储过程批量导入(近8分钟)
2.存储过程批量导入内存表,内存表导入目标表(近5分钟)
3.使用shell脚本生成数据,使用load data的方式导入数据(近20秒)
4.使用shell脚本生成数据,使用load data的方式导入内存表,内存表数据导入目标表(近18秒)
方案1:存储过程导入
我们测试使用的表为users,InnoDB存储引擎,计划初始化数据为100万。
create table users(
userid int(11) unsigned not null,
user_name varchar(64) default null,
primary key(userid)
)engine=innodb default charset=UTF8;使用如下的方式来初始化数据,我们就使用存储过程的方式。
delimiter $$
drop procedure if exists proc_auto_insertdata$$
create procedure proc_auto_insertdata()
begin
declare
init_data integer default 1;
while init_data<=100000 do
insert into users values(init_data,concat('user' ,init_data));
set init_data=init_data+1;
end while;
end$$
delimiter ;
call proc_auto_insertdata();因为我对这个过程还是信心不足,所以就抓取了十分之一的数据10万条数据,测试的结果是执行了47秒钟左右,按照这个数据量大概需要8分钟左右。
> source create_proc.sql
Query OK, 0 rows affected, 1 warning (0.04 sec)
Query OK, 0 rows affected (0.02 sec)
Query OK, 1 row affected (47.41 sec) 所以这个过程虽然是一步到位,但是性能还是差强人意,我看有 的同学在不同的配置下性能差别很大,有的同学达到了近50分钟。这一点上以自己的测试环境为准,然后能够得到一个梯度的数据就可以了。
我们来看看第二个方案。
方案2:使用内存表
第二个方案,我们尝试使用内存表来优化,这样一来我们就需要创建一个内存表,比如名叫users_memory。
create table users_memory(
userid int(11) unsigned not null,
user_name varchar(64) default null,
primary key(userid)
)engine=memorydefault charset=UTF8;然后使用如下的存储过程来导入数据,其实逻辑和第一个存储过程几乎一样,就表名不一样而已,这个里面数据是入到内存表中。
delimiter $$
drop procedure if exists proc_auto_insertdata$$
create procedure proc_auto_insertdata()
begin
declare
init_data integer default 1;
while init_data<=1000000 do
insert into users_memoryvalues(init_data,concat('user' ,init_data));
set init_data=init_data+1;
end while;
end$$
delimiter ;
call proc_auto_insertdata ;这个过程可能会抛出table is full相关的信息,我们可以适当调整参数tmpdir(修改需要重启),max_heap_table_size(在线修改),然后重试基本就可以了。
> source create_proc_mem.sql
Query OK, 0 rows affected (0.00 sec)
Query OK, 0 rows affected (0.00 sec)
Query OK, 1 row affected (4 min 40.23 sec)这个过程用时近5分钟,剩下的内存表数据导入InnoDB表很快了,几秒钟即可搞定。
> insert into users select *from users_memory;
整个过程下来不到5分钟,和第一种方案相比快了很多。
方案3:使用程序/脚本生成数据,批量导入
第三种方案只是抛砖引玉,如果你对php熟悉,可以完全用php来写,对哪种语言脚本熟悉,只要实现需求即可。比如我使用shell,也没有使用什么特别的技巧。
shell脚本内容如下:
for i in {1..1000000}
do
echo $i,user_$i
done > a.lst脚本写得很简单,生成数据的过程大概耗时8秒钟,文件有18M左右。
# time sh a.sh
real 0m8.366s
user 0m6.312s
sys 0m2.039s然后使用load data来导入数据,整个过程花费时间大概在8秒钟左右,所以整个过程的时间在19秒以内。
> load data infile '/U01/testdata/a.lst' into table users fields terminated by ',' ;
Query OK, 1000000 rows affected (8.05 sec)
Records: 1000000 Deleted: 0 Skipped: 0 Warnings: 0
方案4:内存表,外部文件导入混合
第四种方案是临时想的,也是结合了这几种方案的一些特点,当然不能说它就是最好的。
首先使用脚本生成数据,还是和方案3一样,估算为9秒钟,导入数据到内存表users_memory里面。
> load data infile '/U01/testdata/a.lst' into table users_memory fields terminated by ',' ;
Query OK, 1000000 rows affected (1.91 sec)
Records: 1000000 Deleted: 0 Skipped: 0 Warnings: 0然后把内存表的数据导入目标表users
> insert into users select *from users_memory;
Query OK, 1000000 rows affected (7.48 sec)
Records: 1000000 Duplicates: 0 Warnings: 0整个过程耗时在18秒,和第三种方案很相似,看起来略微复杂了或者啰嗦了一些。
以上几种方案只是个人的一些简单测试总结,如果你有好的方案,希望多提意见,多多沟通。
扫码或者长按如下的图片都可以关注我的公众号,继续努力中。。。
mysql 快速初始化_MySQL中的批量初始化数据的对比测试(r12笔记第71天)相关推荐
- mysql 快速复制_MySQL中快速复制数据表方法汇总
本文将着重介绍两个MySQL命令的组合,它将以原有数据表为基础,创建相同结构和数据的新数据表. 这可以帮助你在开发过程中快速的复制表格作为测试数据,而不必冒险直接操作正在运行 的数据表. 示例如下: ...
- mysql longtext 查询_mysql中longtext存在大量数据时,会导致查询很慢?
一个表,1.5w条数据,字段: id,name,content,last_update_time id,自定义主键 name,varchar类型 content是longtext类型, last_up ...
- mysql中删除标识列的语句_MySQL中一些常用的数据表操作语句笔记
0.创建表 CREATE TABLE 表名 (属性名 数据类型 [完整性约束条件], 属性名 数据类型 [完整性约束条件], 属性名 数据类型 [完整性约束条件]) "完整性约束条件&quo ...
- mysql快速复制数据库中所有表及数据至另一个库中
第一步:新建一个新的数据库(db_copy) CREATE DATABASE `db_copy` DEFAULT CHARACTER SET UTF8 COLLATE UTF8_GENERAL_CI; ...
- mysql 批量_mysql LOAD语句批量录入数据
本章的前面讨论如何使用SQL向一个表中插入数据.但是,如果你需要向一个表中添加许多条记录,使用SQL语句输入数据是很不方便的. 幸运的是,MySQL提供了一些方法用于批量录入数据,使得向表中添加数据变 ...
- mysql中关于批量插入数据(1万、10万、100万、1000万、1亿级别的数据)二
硬件:windows7+8G内存+i3-4170处理器+4核CPU 关于前天写的批量插入数据,还有一种方式,就是通过预先写入文本文件,然后通过mysql的load in file命令导入到数据库,今天 ...
- java 静态变量与静态初始化块中变量的初始化顺序
2019独角兽企业重金招聘Python工程师标准>>> package test;public class Test {//静态变量 aprivate static int a=b( ...
- mysql提取数字_Mysql中实现提取字符串中的数字的自定义函数分享
因需要在mysql的数据表中某一字符串中的字段提取出数字,在网上找了一通,终于找到了一个可用的mysql函数,可以有效的从字符串中提取出数字. 该mysql提取出字符串中的数字函数如下: 复制代码 代 ...
- c 批量导入mysql数据库_C#.NET中如何批量插入大量数据到数据库中
在WEB项目开发过程中有时会碰到批量插入数据到数或者是将EXCEL文件据入到数据库中.为了方便实现可以先将EXCEL导入到GRIDVIEW中然后一次批量插入.实现代码如下: 前台代码 后台代码: // ...
最新文章
- 百度飞桨成为北京市首个AI产业方向创新应用平台
- 用python画简单的动物-世上最慢“动物”之一,为啥程序员却很爱它?
- Linux学习笔记之安装mplayer过程详解
- 网络异步编程(C#)团购课
- 如何克服presentation恐惧呢?
- Twincat下载,下载老版本的twincat软件
- 初识马尔科夫链,原来是这样的
- php完美导出word,使用phpword插件实现word文档导出
- centos 使用 scl 软件集
- 麦子学院demo(html+css)
- Unable to check if JNs are ready for formatting 问题解决
- 98岁国学大师自曝只喜欢18岁的年轻美女
- 学习WPF之解决方案和项目结构
- codeforces 1139c Edgy Trees 【并查集 】
- 算法细节系列(16):深度优先搜索
- ElasticSearch入门 第二篇:集群配置
- mysql查询叠字的名字,比较萌的叠字昵称,好听的昵称都有哪些
- javaj集成开发工具idea安装包
- java访问未验证证书的HTTPS
- 西南交大计算机研究生复试的一些心得(附959初复试资料)
热门文章
- flume数据采集_大数据采集系统Flume集群部署
- 命令重置_学个简单命令,一秒重置账户密码
- python 把txt变成字符串_如何通过 Python 如何写文件 ?
- Java基础01 1个和2个区别比较
- 清除90天苹果充值记录_王者荣耀安卓可以转到苹果吗?角色迁移iOS怎么转移到安卓...
- zabbix4监控mysql_Zabbix4监控Mysql5.7
- 练习图200例图纸讲解_实物图+电气图纸讲解:教你学会看配电系统图,不收藏,可惜了...
- mysql general bin区别_MySQL_编码utf8_bin和utf8_general_ci的区别
- 循环获取另一个php变量,通过引用将多个变量传递给foreach循环(php)
- python threading模块中的timer_threading中定时器Timer方法