mysql source导入大数据量时效率提升的方法

在对mysql数据库进行大数据量导入时，我通常是选择source命令进行导入，这样能比较短的时间内导入。但是，如果数据量大到一定量级时，即使是用source命令，效率也并不高。比如此次要导入的数据库文件有100M+，数据量50W+,用source导入需要的时候也是比较长的。

下面提供一个mysql source导入大数据量时效率提升的方法，修改后可以实现百万级数据1分钟内导入(当然这也与很多外部因素有直接关系)。

修改mysql配置文件，找到 innodb_flush_log_at_trx_commit将值修改成0(默认值可能是1)，然后重载配置即可，再次尝试导入时，性能飞起。这里便不放innodb_flush_log_at_trx_commit的相关解释与说明了，有兴趣的朋友可以从网上了解一下。

最后附上source命令

# mysql -uroot -p;

mysql>use dbtest;

mysql>set names utf8;

mysql>source /www/sql/back.sql;

Good luck!

mysql source导入大数据量时效率提升的方法相关推荐

MYSQL数据库导入大数据量sql文件失败的解决方案
最快办法:执行下方语句,单次有效. SET GLOBAL max_allowed_packet=30*1024*1024 如果想彻底更改,在安装mysql的文件夹下找到my.ini 文件,在文件末尾添 ...
大数据量下(批量)提升性能的方法以及常见的性能优化方法
数据库层面(包含数据库设计和语句):尽量做到节省时间和数据库开销 1.让语句更加合理,符合查询优化的规则.避免全表扫描,建立高效索引,正确利用索引等. 2.避免频繁创建和删除临时表. 3.尽量避免向客 ...
大数据量时Mysql的优化要点
原文章 http://www.open-open.com/lib/view/open1430901016179.html 如今随着互联网的发展,数据的量级也是撑指数的增长,从GB到TB到PB.对数据的 ...
大数据量时Mysql的优化要点[转]
转自:http://www.open-open.com/lib/view/open1430901016179.html 如今随着互联网的发展,数据的量级也是撑指数的增长,从GB到TB到PB.对数据的各 ...
MySQL 和 Oracle 大数据量分页查询方法及其优化
MySQL大数据量分页查询方法及其优化 ---方法1: 直接使用数据库提供的SQL语句 ---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N ---适 ...
Mysql千万级大数据量查询优化
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索 ...
【微博爬虫教程实例】基于requests、mysql爬取大数据量博主关键字下博文及评论
[关键词:手把手教程.反爬.数据库.python爬虫.微博关键词爬虫.较大数据量.数据简单过滤] 本教程适合微博相关爬虫需求者阅读,完整实例源码将放置在文末github链接中. 该实例针对微博的反爬措 ...
大数据量时使用xloadtree2做分级加载的问题讨论
我遇到一个问题,是在大数据量分层加载的时候遇到,感到有些莫明其妙,敬请大家讨论! -root (中国) |---1 (北京) |---2 (河北) | |-----2.1 (唐山) | |-----2 ...
iMobile中加载大数据量的矢量数据性能优化方法有哪些
作者:xinxin 随着移动技术的发展,GIS行业中移动项目越来越多.在移动应用中不仅要对接在线的服务数据,还要加载各种本地的业务数据,GIS数据的量一般很大,而移动设备的内存有限,加载本地大数据量的 ...

mysql source导入大数据量时效率提升的方法

mysql source导入大数据量时效率提升的方法相关推荐

最新文章

热门文章