insert批量插入500ms_不吹牛!Mysql 千万数据10秒批量插入只需三步
作者:师太,老衲把持不住了
原文:http://suo.im/4RYaVg
第一步:配置my.ini文件文件中配置bulk_insert_buffer_size=120M 或者更大将insert语句的长度设为最大。Max_allowed_packet=1MNet_buffer_length=8k保存第二步:查看设置的参选有没有生效.Mysql > SHOW VARIABLES;bulk_insert_buffer_size默认是8M,我们要把它调成100M或百兆以上,也不要太大。下面看调整个好的,如下图:第三步:完成设置后,批量插入数据时使用多条模式。INSERT INTO table (field1,field2,field3) VALUES ('a',"b","c"), ('a',"b","c"),('a',"b","c");将以上Mysql插入模式用php语言字符串拼接SQL方法如下,你也可转换Java,Python,Golang其它你用的最顺手的语言,将方法转换分享吧:
/*** 多条数据同时转化成插入SQL语句* @ CreatBy:IT* @param string $table 表名* @$arr_key是表字段名的key:$arr_key=array("field1","field2","field3")* @param array $arr是字段值 数组示例 arrat(("a","b","c"), ("bbc","bbb","caaa"),('add',"bppp","cggg"))* @return string*/function multArray2Insert($table,$arr_key, $arr, $split = '`') {$arrValues = array();if (empty($table) || !is_array($arr_key) || !is_array($arr)) {return false;}$sql = "INSERT INTO %s( %s ) values %s ";foreach ($arr as $k => $v) {$arrValues[$k] = "'".implode("','",array_values($v))."'";}$sql = sprintf($sql, $table, "{$split}" . implode("{$split} ,{$split}", $arr_key) . "{$split}", "(" . implode(") , (", array_values($arrValues)) . ")");return $sql;}
以上方法调试过无误的,这段代码的返回字符串结果是INSERT INTO table (field1,field2,field3) VALUES ('a',"b","c"), ('a',"b","c"),('a',"b","c") ,做试验时用的普通配置的电脑是每秒1000条批量插入速度,千万条数据写的速度也非常快,新版本PHP语言数据处理能力很强大。如果你的电脑或服务器性能高,你可以调节$arr数组决定你插入多少条数据,灵活使用吧。你可直接复制使用它,希望你能理解,若有问题请留言吧。
-End-
加小编微信:xiaobaito,可以邀请加入咱们的「菜鸟架构」技术群一起讨论技术,禁止发广告及垃圾信息哦。
热门阅读
大厂在用的分库分表方案,都在这了!
这些搞笑代码注释 你遇到过几个?
到底什么是高内聚与低耦合,终于弄懂了!
为什么要前后端分享?因为真……爽啊!!
前后端分离必备的接口规范,十分接地气!
更多请关注“菜鸟架构”公众号,将不断呈现更多架构干货!
给个在看,谢谢老板!
insert批量插入500ms_不吹牛!Mysql 千万数据10秒批量插入只需三步相关推荐
- 2批量批量查询数据插入数据_不吹牛!Mysql 千万数据10秒批量插入只需三步
作者:师太,老衲把持不住了 原文:http://suo.im/4RYaVg 第一步:配置my.ini文件文件中配置bulk_insert_buffer_size=120M 或者更大将insert语句的 ...
- word activex部件不能创建对象_如何用Word批量制作员工工作证?1分钟搞定1000份!只需三步...
工作证是我们工作中很常见的东西,不过由于每个人的名字.部门.照片都不同,很多小伙伴都不知道怎么批量制作,总是傻傻地一张一张制作,这样特别浪费时间,今天小编就来跟大家分享如何批量制作! 一.准备工作 1 ...
- 代码批量加引号_如何用Word批量制作员工工作证?1分钟搞定1000份!只需三步
工作证是我们工作中很常见的东西,不过由于每个人的名字.部门.照片都不同,很多小伙伴都不知道怎么批量制作,总是傻傻地一张一张制作,这样特别浪费时间,今天小编就来跟大家分享如何批量制作! 一.准备工作 1 ...
- 只需三步,完成图片批量分割
我们在网络上浏览图片时,若加载一个大的图像,所需要的时间一般会很长.比如我们制作了一张大图或者长图,上传到网上,图片太大,加载时间过长,影响观感.普通的解决办法就是压缩图片,但是压缩图片会使图像质量受 ...
- mac迅雷如何批量下载页面全部链接(无需插件,只需三步)
mac系统,在谷歌应用商店安装mac迅雷扩展插件,发现依然没有"下载页面全部链接"的选项. 由于mac迅雷支持监听剪切板,可以把链接全部拷到剪切板: 打开mac迅雷 选第一个链接, ...
- MySQL千万数据调研,order by 原理详解
大家好,我是Leo. 之前聊的RocketMQ暂时放放,目前正在调研一个千万数据的处理方案. 在做数据库结构优化时,遇到了 order by 调优点的问题.苦思冥想!觉得不了解 order by 的原 ...
- 邮箱批量导入联系人只需3步
邮箱批量导入联系人只需3步 1.Excel表修改联系人信息格式 2.另存为csv文件 3.将CSV文件导入邮箱 1.Excel表修改联系人信息格式 首先新建一个Excel工作表,将Word,Exce, ...
- 【C#】MySQL数据库数据导入(批量Excel插入)
系列文章 [C#]代码模板生成工具 本文链接:https://blog.csdn.net/youcheng_ge/article/details/126890673 [C#]MySQL数据库导入工具( ...
- mysql千万数据迁移只需要简单的5步(导出,导入)
原文地址,转载请注明出处: https://blog.csdn.net/qq_34021712/article/details/86358213 ©王赛超 咳咳,千万级别其实也并不是很多,主 ...
最新文章
- set_origin_pose算子说明
- python学习笔记(二)---编辑工具sublimeText3运行python
- zabbix报警收到tcmime.1456.1456.1878.bin附件邮件
- 【Flink】 Flink与Kafka版本对应关系
- 日语专业双学位选计算机,湖北师范大学计算机科学与技术(日语双学位)专业2015年在湖北理科高考录取最低分数线...
- Gps开发实战——卫星数量获取
- Excel如何根据身份证号码提取出性别
- 多目标优化_学习笔记(三)MOEA/D
- 技术资源分享(更新中)
- 20189320《网络攻防》第八周作业
- 傻瓜式自制鼠标光标,超简单
- 相机调试-tuning常见缩写汇总
- 如何在SVN中忽略某个文件或文件夹
- 海思HI3751_Android解决方案 开发指南
- dgesForExtendedLayout ios7新特性
- cisp-信息安全保障
- 江苏省小学生计算机装备标准,江苏省小学信息技术装备标准汇编.doc
- 明星2,3亿年收入,其实也合情合理
- 【python】判断闰年
- 【银行转账-功能测试分析】