PHP快速导入,php快速导入大量数据的实例方法

PHP快速导入大量数据到数据库的方法

第一种方法：使用insert into 插入，代码如下：

$params = array(‘value'=>'50′);

set_time_limit(0);

echo date(“H:i:s”);

for($i=0;$i<2000000;$i++){

$connect_mysql->insert($params);

};

echo date(“H:i:s”);

最后显示为：23:25:05 01:32:05 也就是花了2个小时多!

第二种方法：使用事务提交，批量插入数据库(每隔10W条提交下)最后显示消耗的时间为：22:56:13 23:04:00 ，一共8分13秒，代码如下：

echo date(“H:i:s”);

$connect_mysql->query(‘BEGIN');

$params = array(‘value'=>'50′);

for($i=0;$i<2000000;$i++){

$connect_mysql->insert($params);

if($i%100000==0){

$connect_mysql->query(‘COMMIT');

$connect_mysql->query(‘BEGIN');

}

$connect_mysql->query(‘COMMIT');

echo date(“H:i:s”);

第三种方法：使用优化SQL语句

将SQL语句进行拼接，使用 insert into table () values (),(),(),()然后再一次性插入，如果字符串太长，则需要配置下MYSQL，

在mysql命令行中运行：

set global max_allowed_packet = 2*1024*1024*10;

消耗时间为：11:24:06 11:25:06;

插入200W条测试数据仅仅用了1分钟!代码如下：

$sql= “insert into twenty_million (value) values”;

for($i=0;$i<2000000;$i++){

$sql.=”('50′),”;

};

$sql = substr($sql,0,strlen($sql)-1);

$connect_mysql->query($sql);

总结：在插入大批量数据时，第一种方法无疑是最差劲的，而第二种方法在实际应用中就比较广泛，第三种方法在插入测试数据或者其他低要求时比较合适，速度确实快。

感谢大家的学习和对聚米学院的支持。

PHP快速导入,php快速导入大量数据的实例方法相关推荐

文本导入ORACLE快速,Oracle批量导入文本文件快速的方法(sqlldr实现)
前言最近做项目的时候需要导入一批3000多万条的POI数据到Oracle数据库,简单的插入导入速度太慢,使用sqlldr 批量导入3000多万条数据花了20分钟左右,速度还可以,现在分享给大家,具体 ...
开发指南专题十五 JEECG微云快速开发平台EXCEL导入导出
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 开 ...
python快速对比两个excel的数据是否一致
python快速对比两个excel的数据是否一致功能概述导入包封装函数程序开始功能概述两个sheet里面的表头有部分不一致,但是数据对应的内容是一致的,因此需要匹配表格多的值是否一致. 输 ...
在MS CRM中使用Excel导入/导出的功能对数据进行批量处理
在MicrosoftDynamics CRM中,如果你需要修改多条数据,比如对联络人的电子邮件进行修改,通常需要打开每一个联络人记录的表单,然后对其进行修改,然后保存并关闭表单.这样做非常的麻烦.我们 ...
oracle 数据导入 mysql_将oracle的数据导入到mysql的三种方法
为了生产库释放部分资源,需要将API模块迁移到MysqL中,及需要导数据. 尝试了oracle to MysqL工具,迁移时报错不说,这么大的数据量,用这种简陋的工具不大可靠. 意外发现平时用的数据库 ...
怎样快速地迁移 MySQL 中的数据？
我们通常会遇到这样的一个场景,就是需要将一个数据库的数据迁移到一个性能更加强悍的数据库服务器上.这个时候需要我们做的就是快速迁移数据库的数据. 那么,如何才能快速地迁移数据库中的数据呢?今天我们就来聊 ...
oracle导入备份失败怎么办,ORACLE 数据备份、恢复以及导入时表空间不存在的解决方案...
一.数据备份(导出) 1.exp命令导出dmp文件(exp -help查看帮助信息) 命令:exp username/userpasswd@orcl file=G:/test.dmp log=G:/t ...
R语言导入、读取网络CSV数据（Read a CSV from a URL）实战：R原生read_csv、readr包、data.table
R语言导入.读取网络CSV数据(Read a CSV from a URL)实战:R原生read_csv.readr包.data.table 目录 R语言导入.读取网络CSV数据(Read a CSV ...
blender 导出 obj 格式，3dsmax 导入3ds max obj 格式数据
blender 导出 obj 格式,3dsmax 导入3ds max obj 格式数据 blender 导出 3dsmax 导入
如何快速全面建立自己的大数据知识体系？大数据 ETL 用户画像机器学习阅读232 作者经过研发多个大数据产品，将自己形成关于大数据知识体系的干货分享出来，希望给大家能够快速建立起大数据
如何快速全面建立自己的大数据知识体系? 大数据 ETL 用户画像机器学习阅读232 作者经过研发多个大数据产品,将自己形成关于大数据知识体系的干货分享出来,希望给大家能够快速建立起大数据产品的体 ...

PHP快速导入,php快速导入大量数据的实例方法

PHP快速导入,php快速导入大量数据的实例方法相关推荐

最新文章

热门文章