mysql 1000万数据读取_插入1000万条数据到mysql数据库表

转自：https://www.cnblogs.com/fanwencong/p/5765136.html

我用到的数据库为，mysql数据库5.7版本的

1.首先自己准备好数据库表

其实我在插入1000万条数据的时候遇到了一些问题，现在先来解决他们，一开始我插入100万条数据时候报错，控制台的信息如下：

com.mysql.jdbc.PacketTooBigException: Packet for query is too large (4232009 > 4194304). You can change this value on the server by setting the max_allowed_packet’ variable.

出现上面的错误是因为数据库表的max_allowed_packet这个配置没配置足够大，因为默认的为4M的，后来我调为100M就没报错了

set global max_allowed_packet = 100*1024*1024*

记住，设置好后重新登录数据库才能看的设置后的值show VARIABLES like '%max_allowed_packet%'

Java的jdbc代码如下：

结果：

哈哈，1000万条数据288秒完成，是不是感觉超级牛逼，我每次插入10万条数据就提交一次事务，如果是一条一条差的话估计要好几个小时，网上有人试过时间浪费在数据库的连接上了，

后来我想测试插入100万条数据时候数据库引擎的差别

首先把代码中最外层的循环i=100改为i=10;

1.数据库引擎为MyISAM时：27s,这个我忘了截图了。因为我后来测试InnoDB的时候我换了一个表来测试，因为我发现改不了数据库表的引擎。。。。所以只能换一个表来测试

1.数据库引擎为InnoDB时：

用了77秒，比MyISAW慢了3倍左右，估计要是1000万条数据的时候更慢吧。。。

mysql 1000万数据读取_插入1000万条数据到mysql数据库表相关推荐

单机版MongoDB插入了亿万条数据之后...
最近因为公司的一个业务迁移,需要对单机MongoDB做一个简单的测试,在写入了亿万条数据之后,数据库的性能还是受到了一些影响的,这里简单记录下. 因为是非关键业务,且通过统计得出每秒的写入请求数大约是 ...
mysql如何快速插入一千万条数据_如何快速安全的插入千万条数据？
最近有个需求解析一个订单文件,并且说明文件可达到千万条数据,每条数据大概在20个字段左右,每个字段使用逗号分隔,需要尽量在半小时内入库. 思路 1.估算文件大小因为告诉文件有千万条,同时每条记录大概 ...
疯狂试探mysql单表insert极限：已实现每秒插入8.5w条数据
很多同学都有这样的困扰: 工作中项目的数据量不大,遇不到sql优化的场景:单表就几万,我优化个der啊: 业务对性能要求不高,远远没达到性能瓶颈:咱这项目又不是不能跑,优化个der啊: 确实,如果你的 ...
mysql单表狂 insert极限：已实现每秒插入2.5w条数据
很多同学都有这样的困扰: 工作中项目的数据量不大,遇不到sql优化的场景:单表就几万,我优化个der啊: 业务对性能要求不高,远远没达到性能瓶颈:咱这项目又不是不能跑,优化个der啊: 确实,如果你的 ...
mysql 控制台环境下查询中文数据乱码，插入、更新中文数据不成功
mysql 控制台环境下查询中文数据乱码,插入.更新中文数据不成功登录mysql密码是加入编码参数--default-character-set,中文用gbk mysql -uroot -pabct ...
mysql分组取出每组地一条数据_基于mysql实现group by取各分组最新一条数据
基于mysql实现group by取各分组最新一条数据前言: group by函数后取到的是分组中的第一条数据,但是我们有时候需要取出各分组的最新一条,该怎么实现呢? 本文提供两种实现方式. 一.准 ...
mysql取分组数据中每个分组的最新一条数据
mysql取分组数据中每个分组的最新一条数据 select * from data td,(select max(id) id from log group by name) md where td. ...
插入2万调数据耗时_教你如何6秒钟往MySQL插入100万条数据!然后删库跑路！
一.思路往MySQL中插入1000000条数据只花了6秒钟! 关键点: 1.使用PreparedStatement对象 2.rewriteBatchedStatements=true 开启批量插入, ...
【面试题记录】在mysql中查询10万条数据找到第50000到51000条数据，你会怎么做？
数据库表中准备了10万条数据,今天我们来做一下测试. 数据表:ticket_order_log 主键索引:id 先看一下数据,一共是101176条数据,耗时117s. select * from ti ...

mysql 1000万数据读取_插入1000万条数据到mysql数据库表

mysql 1000万数据读取_插入1000万条数据到mysql数据库表相关推荐

最新文章

热门文章