php 快速导出百万级数据到 csv 或者 excel 文件

目录

一、导出思路

二、导出源码

三、蠕虫复制

一、导出思路

需要考虑服务器内存
需要考虑程序运行的最大时间
缺少 BOM 头导致乱码的处理
如果导出数量过大，推荐使用循环导出，每次循环这里以导出一万条为例，循环100次即可全部导出

二、导出源码

下面源码将数据库信息修改成自己的即可使用
亲测导出一百万条数据，3个字段，不过20秒
如果服务器硬件不支持一次读取一万条数据，可将循环次数提高，导出数量降低

<?php//让程序一直运行set_time_limit(0);//设置程序运行内存ini_set('memory_limit', '128M');$fileName = '测试导出数据';header('Content-Encoding: UTF-8');header("Content-type:application/vnd.ms-excel;charset=UTF-8");header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');//打开php标准输出流$fp = fopen('php://output', 'a');//添加BOM头，以UTF8编码导出CSV文件，如果文件头未添加BOM头，打开会出现乱码。fwrite($fp, chr(0xEF).chr(0xBB).chr(0xBF));//添加导出标题fputcsv($fp, ['姓名', '年龄', '地区']);//链接数据库$dsn = "mysql:host=127.0.0.1;port=3306;dbname=db_www;charset=utf8";$pdo = new PDO($dsn, 'root', '');$step = 100; //循环次数$nums = 10000; //每次导出数量for($i = 0; $i < $step; $i++) {$start = $i * 10000;$sql = "SELECT uname,age,city FROM `hd_test` ORDER BY `id` LIMIT {$start},{$nums}";$pdostatement = $pdo->query($sql);$result = $pdostatement->fetchAll(PDO::FETCH_ASSOC);foreach ($result as $item) {fputcsv($fp, $item);}//每1万条数据就刷新缓冲区ob_flush();flush();}

三、蠕虫复制

快速生成百万条测试数据，可以使用数据库的 蠕虫复制命令
先建好表后，插2条测试数据后，执行几次下列命令，即可指数增长

INSERT INTO hd_test (uname,age,city)
SELECT uname,age,city
FROM hd_test;

php 快速导出百万级数据到 csv 或者 excel 文件相关推荐

php导出1万条数据excel_PHP快速导出百万级数据到CSV或者EXCEL文件
前言: 很多时候,因为数据统计,我们需要将数据库的数据导出到Excel等文件中,以供数据人员进行查看,如果数据集不大,其实很容易:但是如果对于大数集的导出,将要考虑各种性能的问题,这里以导出数据库一百 ...
springboot+poi导出百万级数据避免OOM内存溢出
springboot+poi导出百万级数据避免OOM内存溢出文章目录 springboot+poi导出百万级数据避免OOM内存溢出前言一.具体实现二.代码实现 1.引入poi包 2.功能代码 ...
php导出csv_原生PHP实现导出csv格式Excel文件的方法示例【附源码下载】
本文实例讲述了原生PHP实现导出csv格式Excel文件的方法.分享给大家供大家参考,具体如下: 效果图源码分析 index.php require_once "./Export.php& ...
mysql数据导入导出 CSV格式_导出mysql的数据为csv格式的文件
Mysql自带数据导出的命令 into outfile(本地导出) SELECT * FROM server_warning_repaired into outfile '/tmp/test.csv' ...
数据完整性测试之【二】导出的CSV、Excel文件和数据库表里的记录
前面的分享接口返回值和数据库表里的记录[一]说过,把前端页面显示的所有数据明细导出为CSV文件,将其和数据库表里的数据做校验,这儿说下我对导出的CSV.Excel的处理: 个人博客:https:// ...
C# 读取CSV和EXCEL文件示例
我们习惯了直接连到数据库上面读取数据表的数据内容: 如果有一天我们需要读取CSV,EXCEL文件的内容的时候,可不可以也像读数据表的方式一样呢?当然可以,使用OleDB ADO.NET是很简单的事情 ...
excel emoji php,PHP导出带有emoji表情的文本到excel文件出问题了
前段时间做了一个导出用户信息(包含微信昵称)到excel文件的功能,一直没问题,今天突然有人反馈说导出来的数据有一些丢失了.我试了一下,发现有些数据导出没问题,有些有问题,某些列出现了空白,数据打印出 ...
php emoji 保存显示不出来,PHP导出带有emoji表情的文本到excel文件出问题了
前段时间做了一个导出用户信息(包含微信昵称)到excel文件的功能,一直没问题,今天突然有人反馈说导出来的数据有一些丢失了.我试了一下,发现有些数据导出没问题,有些有问题,某些列出现了空白,数据打印出 ...
R—读取数据（导入csv,txt,excel文件）
R-读取数据(导入csv,txt,excel文件) 转自:http://www.cnblogs.com/zhangduo/p/4440314.html 导入CSV.TXT文件 read.table函数 ...

php 快速导出百万级数据到 csv 或者 excel 文件

一、导出思路

二、导出源码

三、蠕虫复制

php 快速导出百万级数据到 csv 或者 excel 文件相关推荐

最新文章

热门文章