[MySQL FAQ]系列 -- 新年新思想：MySQL也能并发导入数据

作/译者：叶金荣（Email:

），来源：http://imysql.cn，转载请注明作/译者和出处，并且不能用于商业用途，违者必究。

对MySQL的用户而言，备受诟病的一个问题就是导入SQL备份文件时不能并发，使得导入的效率很低。
今天，我们就来改变下思路，尝试一下并发导入的方法，供大家参考。
1、问题分析
想要实现并发导入，其实没那么难，最简单的思路就是：将完整的文件切分成多份，然后并发导入即可。
在这里，我自己的做法是这样的：

1) 首先，假设只有一个库；多个库的情况也是类似，无非就是循环
2) 计算SQL文件总行数
3) 计算SQL文件总大小
4) 设定每个切分文件最大尺寸
5) 初始化表结构
6) 循环处理SQL，按照切分文件最大尺寸切分成多个小文件
7) 并发导入多个小文件

上述方法中，如果数据表是 MyISAM 表，则并发导入没有问题，但如果是 InnoDB 表，则会有表级锁 AUOT-INC 导致并发效率不高的麻烦，尽管如此，那也比单个文件串行导入来的快一些。想要避免这个麻烦，就得采用 MySQL 5.1 版本了，因为在 5.1 中，改进了 AUTO-INC 的处理方式，规避了表级锁，很大程度提高了并发效率。
2、实际测试
事先设定：最大并大导入线程是16个。
2.1 MySQL 5.0.67 版本

innodb_flush_log_at_trx_commit = 1
串行导入：01:51:34
并行导入：01:25:05
innodb_flush_log_at_trx_commit = 0
串行导入：01:49:36
并行导入：01:11:29

2.2 MySQL 5.1版本

innodb_flush_log_at_trx_commit = 1, innodb_autoinc_lock_mode = 0
串行导入：01:52:28
并行导入：01:38:13
innodb_flush_log_at_trx_commit = 1, innodb_autoinc_lock_mode = 1
串行导入：01:54:55
并行导入：01:26:24
innodb_autoinc_lock_mode = 0
并行导入：01:38:13
innodb_autoinc_lock_mode = 1
并行导入：01:05:51

更加详细的测试就不再做了。
3、小结
从上面的测试结果可以看到，MySQL 5.1在AUTO-INC锁方面的改进还是非常大的，对于想要提升并发性能，同时应用相对不是太复杂，并且不担心会碰到bug的童鞋可以多多尝试下。
由于众所周知的缘故，相关的脚本就不发布了，有需要的童鞋请加入MSN群讨论。

本文出自 “MySQL中文网”博客 http://www.imysql.cn/

转载于:https://blog.51cto.com/imysql/308994

[MySQL FAQ]系列 -- 新年新思想：MySQL也能并发导入数据相关推荐

linux安装卸载mysql,Linux6 系列安装、卸载mysql
Linux6 系列安装.卸载mysql Linux6 系列安装.卸载mysql Linux环境下载mysql: https://blog.csdn.net/weixin_40816738/arti ...
mysql建帐号数据库出现反斜线_[MySQL FAQ]系列 -- 账号密码包含反斜线时怎么办
问: 如果密码中包含反斜线,该如何处理呢? 答: 在mysql中,反斜线"\"是有特殊意义的,用于转义,因此如果密码中包含"\",就需要特别注意.有一种一劳永逸 ...
[MySQL FAQ]系列 -- 账号密码包含反斜线时怎么办
作/译者:叶金荣(Email: ),来源:http://imysql.cn,转载请注明作/译者和出处,并且不能用于商业用途,违者必究. 问: 如果密码中包含反斜线,该如何处理呢? 答: 在mysql中 ...
MySQL高级系列（四）—— MySQL集群架构
第1节集群架构设计 1.1 架构设计理念在集群架构设计时,主要遵从下面三个维度: 可用性扩展性一致性 1.2 可用性设计站点高可用,冗余站点服务高可用,冗余服务数据高可用,冗余数据保证 ...
mysql无法安装弹出Log_[MySQL FAQ]系列 -- 启用GTID binlog新安装完的MySQL提示无法登录...
问:刚刚新安装的MySQL,提示下面信息,无法登入,怎么回事? [root@imysql mysql]# mysql mysql ERROR 1045 (28000): Access denied f ...
[MySQL FAQ]系列 -- 快速还原MyISAM表索引
作/译者:叶金荣(Email: ),来源:http://imysql.cn,转载请注明作/译者和出处,并且不能用于商业用途,违者必究. 假设有个myisam表:tbl,为了备份方便,直接把 frm 和 ...
FAQ系列 | 几种常见MySQL无法启动案例
昨天在群里看到有新同学还在问MySQL无法启动的问题,于是总结了几个常见情况,权当普及帖了,老鸟自觉飞过. 问题1:目录.文件权限设置不正确 MySQL的$datadir目录,及其下属目录.文件权限属 ...
MySQL在线环境,[MySQL FAQ]系列 — 线上环境到底要不要开启query cache
Query Cache(查询缓存,以下简称QC)存储SELECT语句及其产生的数据结果,特别适用于:频繁提交同一个语句,并且该表数据变化不是很频繁的场景,例如一些静态页面,或者页面中的某块不经常发生变 ...
[MySQL FAQ]系列 -- mysql是否支持跨库事务
作/译者:叶金荣(Email: ),来源:http://imysql.cn,转载请注明作/译者和出处,并且不能用于商业用途,违者必究. 是可以支持的,例如这么用: start transaction; ...

[MySQL FAQ]系列 -- 新年新思想：MySQL也能并发导入数据

[MySQL FAQ]系列 -- 新年新思想：MySQL也能并发导入数据相关推荐

最新文章

热门文章