百万条数据插入mysql_mysql快速插入百万条数据

作者：在赤道吃冰棍儿

www.jianshu.com/p/36b87cb3a05a

前言

假设现在我们要向mysql插入500万条数据，如何实现高效快速的插入进去？暂时不考虑数据的获取、网络I/O、以及是否跨机操作，本文将在本地进行数据的插入，单纯从mysql入手，把优化到底。

1.生成sql文件

首先我们来生成500万条inster的sql文件，图1为生成sql文件的程序，运行大概需要25s左右，采用Python3实现，生成的文件如图2。

图1

图2

2.进行sql插入

这里我写了个简单的sh，进行mysql的导入,请看图3，我里面的密码用的环境变量，大家写的时候写自己的密码就行，经过了漫长的运行，才插入完成，请看图4，让人吐血的运行时间。

图3

图4

看到图4，运行了两个多小时，才插入了500万条数据

百万条数据插入mysql_mysql快速插入百万条数据相关推荐

计算机数据表格展示,利用工具，一分钟完成数据可视化，快速输出美观的数据图表...
天天跟表格打交道的办公室的表哥表妹,为了能让老板看的更一目了然,可以说是费时费力. 今天小姐姐给大家分享一下如何利用工具,一分钟完成数据可视化,快速输出美观的数据图表. [新手们必须收藏转发呀] 为什 ...
Origin中导入数据后怎样快速便捷的观看数据迷你图
Origin中导入数据后怎样快速便捷的观看数据迷你图在Origin中做大批量数据统计分析且有多个参数时,可以先验通过各个参数的迷你图大致看出数据走势规律,但有时候导入数据后不会自动生成迷你图,这时就 ...
mysql百万数据写入_快速写入百万数据
1.快速写入百万数据 mysql原生操作 mysql原生操作写入500万数据! # 建库 create database mydb01; # 使用库 use mydb01; # 建表 create t ...
python处理表格数据-基于Python快速处理PDF表格数据
我们有下面一张PDF格式存储的表格,现在需要使用Python将它提取出来. 使用Python提取表格数据需要使用pdfplumber模块,打开CMD,安装代码如下: pip install pdfpl ...
【WPS表格】避免数据重复录入快速核对某列数据是否相同对比两个工作表的数据
避免数据重复录入数据→重复项→选择"拒绝录入重复项"→设置好后,在该列中输入重复内容时会弹出"重复"警告框,但双击回车键可继续输入若需设置成禁止输入重复项: ...
mysql 中如何删除重复的数据_mysql如何快速删除重复的数据
在mysql中去重,其实是一个很简单的事情,来看下面的例子: mysql> DROP TABLE test; Query OK, 0 rows affected (0.01 sec) mysql ...
Excel快速合并多行数据
Excel快速合并多行数据目录 Excel快速合并多行数据 1.将内容所在列拉宽. 2.选中数据,找到"开始"选项卡中"填充"点击"两端对齐&quo ...
使用MySQL可视化客户端，例如SQLyog，Navicat等，只编写SQL语句，使用2的N次方原理，快速初始化百万千万条数据
目录 1.思路 2.创建表 3.具体操作 4.其他快速插入百万条数据的方法 4.1Java代码批量插入 4.2存储过程批量插入 1.思路使用MySQL可视化客户端,例如SQLyog,Navicat ...
mysql如何快速插入一千万条数据_如何快速安全的插入千万条数据？
最近有个需求解析一个订单文件,并且说明文件可达到千万条数据,每条数据大概在20个字段左右,每个字段使用逗号分隔,需要尽量在半小时内入库. 思路 1.估算文件大小因为告诉文件有千万条,同时每条记录大概 ...

百万条数据插入mysql_mysql快速插入百万条数据

百万条数据插入mysql_mysql快速插入百万条数据相关推荐

最新文章

热门文章