php mysql 大量读取_PHP使用PDO从mysql读取大量数据处理详解
前言
本文主要介绍了关于PHP利用PDO从mysql读取大量数据处理的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧。
环境
mysql: 5.6.34
php: 5.6
nginx: php-fpm
适用场景
需要处理一定数据集业务
从mysql读取一定数据的业务导出
一次需要处理一定的mysql业务操作更新删除等
更多需要处理一定数据集的操作
pdo 关键设置
$dbh = new \PDO($dsn, $user, $pass);
# 关键设置,如果不设置,php依旧会从pdo一次取出数据到php
$dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
//perpare里的游标属性不是必须的
$sth = $dbh->prepare("SELECT * FROM `order`", array(\PDO::ATTR_CURSOR => \PDO::CURSOR_SCROLL));
$sth->execute();
生成器
生成器,迭代数据操作
本生成器可省略
尝试代码
class Test {
public function test()
{
set_time_limit(0);
$dbms='mysql'; //数据库类型
$host=C('DB_HOST'); //数据库主机名
$dbName=C('DB_NAME'); //使用的数据库
$user=C('DB_USER'); //数据库连接用户名
$pass=C('DB_PWD'); //对应的密码
$dsn="$dbms:host=$host;dbname=$dbName";
$dbh = new \PDO($dsn, $user, $pass);
$dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $dbh->prepare("SELECT * FROM `order`");
$sth->execute();
$i = 0;
$newLine = PHP_SAPI == 'cli' ? "\n" : '
';
foreach ($this->cursor($sth) as $row) {
// var_dump($row);
echo $row['id'] . $newLine;
$i++;
}
echo "消耗内存:" . (memory_get_usage() / 1024 / 1024) . "M" . $newLine;
echo "处理数据行数:" . $i . $newLine;
echo "success";
}
public function cursor($sth)
{
while($row = $sth->fetch(\PDO::FETCH_ASSOC)) {
yield $row;
}
}
}
$test = new Test();
$test->test();
输出
1
... //省略部分id
804288
消耗内存:"0.34918212890625M
处理数据行数:254062
success
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。
php mysql 大量读取_PHP使用PDO从mysql读取大量数据处理详解相关推荐
- pdo mysql防注入_Php中用PDO查询Mysql来避免SQL注入风险的方法
当我们使用传统的 mysql_connect .mysql_query方法来连接查询数据库时,如果过滤不严,就有SQL注入风险,导致网站被攻击,失去控制.虽然可以用mysql_real_escape_ ...
- php使用pdo操作mysql数据库实例_php使用PDO操作MySQL数据库实例_PHP
本文实例讲述了php使用PDO操作MySQL数据库的方法.分享给大家供大家参考.具体分析如下: PDO是mysql数据库操作的一个公用类,我们不需要进行自定类就可以直接使用pdo来操作数据库,但是在p ...
- mysql int 判断_PHP通过PDO查MySQL查询int字段返回string类型,解决方案
虽说PHP是弱类型的语言,但不代表没类型,乱转也是个问题,因为要进行数据比较,判断,还要和其它语言数据交互.这个问题一定要解决的.但网上的标准答案似乎没提驱动问题,此文结合作者经验详细说明. 1.PD ...
- MySQL高可用方案-PXC(Percona XtraDB Cluster)环境部署详解
MySQL高可用方案-PXC(Percona XtraDB Cluster)环境部署详解 Percona XtraDB Cluster简称PXC.Percona Xtradb Cluster的实现是在 ...
- python怎么读文件内容-Python读取文件内容为字符串的方法(多种方法详解)
以下笔记是我在 xue.cn 学习群之数据分析小组所整理分享的心得.相关背景是:我选择中文词频统计案例作为考察大家python基础功掌握程度. 以小见大,下面是2个小技能的具体实战: 如何灵活地处理文 ...
- Mysql高手系列 - 第20篇:异常捕获及处理详解(实战经验)
Mysql高手系列 - 第20篇:异常捕获及处理详解(实战经验) 参考文章: (1)Mysql高手系列 - 第20篇:异常捕获及处理详解(实战经验) (2)https://www.cnblogs.co ...
- php去除重复的数据保留一条,mysql查找删除重复数据并只保留一条实例详解
有这样一张表,表数据及结果如下: school_id school_name total_student test_takers 1239 Abraham Lincoln High School 55 ...
- mysql pdo 读取字段名_PHP使用PDO从mysql读取大量数据处理详解
前言 本文主要介绍了关于PHP利用PDO从mysql读取大量数据处理的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧. 环境 mysql: 5.6.34 php: 5.6 n ...
- php操作mysql数据库的扩展有哪些_PHP使用PDO扩展操作mysql数据库
SELECT //查单条 function get_sub_product() { $res_zz = $pdo->query("SELECT id FROM content WHER ...
最新文章
- MySQL中的联合查询
- 集成git怎样更新代码_持续集成之理论篇
- 用jackson封装的JSON工具类
- 你真会IDEA的调试功能吗?这4个技巧带你起飞!
- clip\_gradient
- hive建表映射到hbase
- 深入【Get】与【Post】区别
- Java Spring Security示例教程中的2种设置LDAP Active Directory身份验证的方法
- (JAVA)获取对象
- Weex 解决Print: Entry, :CFBundleIdentifier, Does Not Exist 错误方法
- 诺禾致源css客户端,诺禾,诺禾致源:CSS 基础教学
- Apache ActiveMQ 远程代码执行漏洞记录(CVE-2016-3088,端口:8186)
- 小程序php支付,前后端分离
- 软件测试:我该坚持在一个人的岗位还是辞职?
- javax.crypto.BadPaddingException: Given final block not properly padded 解决方法
- Mac 下载并使用 Adobe Audition CC 2019 分离 人物语音和背景音乐
- sequel pro 格式化sql
- Tone-Mapped Image Quality Assessment
- 启用计算机休眠,如何让电脑休眠_如何开启电脑休眠模式-win7之家
- 如何在新的Apple TV遥控器上调整触摸灵敏度
热门文章
- 标记注解 java_【java】细说 JAVA中 标注 注解(annotation)
- python拟牛顿法迭代点绘制_最速下降法、牛顿法、拟牛顿法,Python实现高维二次目标函数优化...
- Java实现心跳机制
- 【已解决】javaweb新建jsp文件报错
- Docker镜像的分层和镜像的创建(Dockerfile)
- oracle json字符串转数组,json字符串转化成json对象(原生方法)
- scrapy框架_入门Scrapy框架看这一篇文章就够了
- python编写购物程序_Python实现购物程序思路及代码
- php禁止代理ip访问_php禁止某ip或ip地址段访问的方法(转载)
- 工业机器人打磨抛光编程员工资_让我们一起来谈谈,工业机器人行业的真实工资是多少?...