mysql 插入万条数据_你向 MySQL 插入 100万条数据用了多久？

1、多线程插入(单表)

2、多线程插入(多表)

3、预处理SQL

4、多值插入SQL

5、事务(N条提交一次)

多线程插入(单表)

问：为何对同一个表的插入多线程会比单线程快？同一时间对一个表的写操作不应该是独占的吗？

答：在数据里做插入操作的时候，整体时间的分配是这样的：

1、多链接耗时 (30%)

2、多发送query到服务器 (20%)

3、多解析query (20%)

4、多插入操作 (10% * 词条数目)

5、多插入index (10% * Index的数目)

6、多关闭链接 (10%)

从这里可以看出来，真正耗时的不是操作，而是链接，解析的过程。

MySQL插入数据在写阶段是独占的，但是插入一条数据仍然需要解析、计算、最后才进行写处理，比如要给每一条记录分配自增id，校验主键唯一键属性，或者其他一些逻辑处理，都是需要计算的，所以说多线程能够提高效率。

多线程插入(多表)

分区分表后使用多线程插入。

预处理SQL

普通SQL ：即使用Statement接口执行SQL

预处理SQL ：即使用PreparedStatement接口执行SQL

使用PreparedStatement接口允许数据库预编译SQL语句，以后只需传入参数，避免了数据库每次都编译SQL语句，因此性能更好。

多值插入SQL

普通插入SQL：INSERT INTO TBL_TEST (id) VALUES(1)

多值插入SQL：INSERT INTO TBL_TEST (id) VALUES (1), (2), (3)

使用多值插入SQL，SQL语句的总长度减少，即减少了网络IO，同时也降低了连接次数，数据库一次SQL解析，能够插入多条数据。

事务(N条提交一次)

在一个事务中提交大量INSERT语句可以提高性能。

1、将表的存储引擎修改为myisam 2、将 sql 拼接成字符串，每 1000 条左右提交事务。

执行多条SQL语句，实现数据库事务。

mysql数据库

多条SQL语句

10w条数据大概用时10s！

【编辑推荐】

【责任编辑：张燕妮 TEL：(010)68476606】

mysql 插入万条数据_你向 MySQL 插入 100万条数据用了多久？相关推荐

查询分析300万笔记录_一分钟狂销100万件商品！Shopee虾皮双12大促再创记录
据外媒报道,总部位于新加坡的电商公司Shopee(虾皮购物)在2020年第二季度和第三季度期间产生了5.6亿笔交易.Sea集团正计划加强促销和合作,以促进明年的销售. Shopee印尼站董事Chris ...
为什么现在好多年轻人连1万都掏不出来，却觉得100万很少？
‍ ‍ 1.为什么现在好多年轻人连1万都掏不出来,却觉得100万很少? 其实年轻人觉的100万很少,恰恰是1万块钱都拿不出来的根源. 因为多数人对花钱的认知仍然停留在千儿八百,买一只口红300,不便宜 ...
mysql更新写入数据_七、MySQL插入、更新与删除数据
存储在系统中的数据是数据库管理系统(DBMS)的核心,数据库被设计用来管理数据的存储.访问和维护数据的完整性.MySQL中提供丰富的数据管理语句,包括插入数据的INSERT.更新数据的UPDATE以及 ...
MySQL数据库课程实验报告_创建数据库并插入数据
1.1 进入数据库 $ sudo service mysql start $ mysql -u root 2.1 创建数据库 create database mysql_shiyan; 创建后查看数据 ...
只导表前10条数据_【205期】面试官：数据量很大的情况下，对于分页查询你有什么优化方案吗？...
点击上方"Java面试题精选",关注公众号面试刷图,查缺补漏 >>号外:公众号改版后文章顺序不固定,欢迎大家把我们面试题精选这个公众号设置为星标,感谢大家一年的支持! ...
mysql函数用来查询匹配不到的数据_详解MySql基本查询、连接查询、子查询、正则表达查询...
select * from STUDENT; 2.2.按条件查询 (1) 比较运算符 > , < ,= , != (< >),>= , <= select * fr ...
mysql影响行数解析_详解MySQL的数据行和行溢出机制
一.行有哪些格式? 你可以像下面这样看一下你的mysql行格式设置. 其实mysql的数据行有两种格式,一种就是图中的 compact格式,还有一种是redundant格式. compact是一种紧 ...
mysql数据库设计四大范性_数据库篇-mysql详解( 四 )之范式与数据高级骚操作
标题.png 一 : 主键 primary key,主要的键. 一张表只能有一个字段可以使用对应的键, 用来唯一的约束该字段里面的数据, 不能重复: 这种称之为主键.一张表只能有最多一个主键操作增 ...
textedit怎么插入数据_还在手动插入Excel交叉空白行？这个小技巧10秒搞定
导读:前几天有同学在后台提问,怎么快速在Excel中隔行插入一行或者多行空白行,其实在早期我们分享的小视频中有利用过类似的小技巧来制作工资条,今天我们用它来插入空白行. 文/ 芒种学院@指北针 Hel ...
mysql 二进制日志在哪_如何通过Mysql的二进制日志恢复数据库数据
经常有网站管理员因为各种原因和操作,导致网站数据误删,而且又没有做网站备份,结果不知所措,甚至给网站运营和盈利带来负面影响.所以本文我们将和大家一起分享学习下如何通过Mysql的二机制日志(binlo ...

mysql 插入万条数据_你向 MySQL 插入 100万条数据用了多久？

mysql 插入万条数据_你向 MySQL 插入 100万条数据用了多久？相关推荐

最新文章

热门文章

mysql 插入万条数据_你向 MySQL 插入 100万 条数据用了多久？

mysql 插入万条数据_你向 MySQL 插入 100万 条数据用了多久？相关推荐

最新文章

热门文章

mysql 插入万条数据_你向 MySQL 插入 100万条数据用了多久？

mysql 插入万条数据_你向 MySQL 插入 100万条数据用了多久？相关推荐