关于数据导出超时的问题

实际工作中，我们经常导出报表的需求，当导出数据量过大的时候，经常会遇到超时和内存溢出的问题。

解决方案一

超时可用: set_time_limit(0) 解决。
内存溢出可用: ini_set('memory_limit', '自定义内存')。

解决方案二

优化程序，利用数据库或文件来缓存中间结果。

解决方案三

利用Ajax分多次请求，写入文件，下载文件，效果如上图。

（方案三）为大家提供一个Demo

设计思路

1. 我们将其拆成100次请求，请求成功，进度条前进1%。

2. 每次请求都需要写入文件，然后对文件进行追加写入。

3. 当文件写入完毕后，显示下载按钮，点击下载即可。

功能点

1. 两种进度条样式。

2. Jquery Ajax。

3. 数据写入CSV。

4. 下载文件。

页面样式：Bootstrap。

代码如下

<?php

/**

* 导出CSV文件

* @param array $data 数据

* @param array $header_data 首行数据

* @param string $file_name 文件名称

* @param int $type 类别

* @return string

function _export_csv($data = [], $header_data = [], $file_name = '', $type = 0)

{

$fp = fopen($file_name, 'a+');

if (($type != 1) && !empty($header_data)) {

foreach ($header_data as $key => $value) {

$header_data[$key] = iconv('utf-8', 'gbk', $value);

}

fputcsv($fp, $header_data);

}

$num = 0;

//每隔$limit行，刷新一下输出buffer，不要太大，也不要太小

$limit = 100000;

//逐行取出数据，不浪费内存

$count = count($data);

if ($count > 0) {

for ($i = 0; $i < $count; $i++) {

$num++;

//刷新一下输出buffer，防止由于数据过多造成问题

if ($limit == $num) {

ob_flush();

flush();

$num = 0;

}

$row = $data[$i];

foreach ($row as $key => $value) {

$row[$key] = iconv('utf-8', 'gbk', $value);

}

fputcsv($fp, $row);

}

fclose($fp);

}

/**

* 下载文件

* @param string $file_url 文件地址

* @return string

function _download_file ($file_url = '')

{

if (!isset($file_url) || trim($file_url)=='') {

die('File URL is empty.');

}

if (!file_exists($file_url)) {

die('File does not exist.');

}

$file_name = 'down_'.date('YmdHis', time());

$file_type = fopen($file_url,'r'); //打开文件

//输入文件标签

header("Content-type: application/octet-stream");

header("Accept-Ranges: bytes");

header("Accept-Length: ".filesize($file_url));

header("Content-Disposition: attachment; filename=".$file_name);

//输出文件内容

echo fread($file_type, filesize($file_url));

fclose($file_type);

}

//以后是逻辑代码，大家可以根据自己的需求进行编写。

$path = '文件的绝对地址'; //path 是存放文件的绝对地址。

if (isset($_POST['start'])) {

//每一个单独的请求，要保证文件名是唯一的，因为后面要继续进行追加。

$file_name = 'demo.csv';

//获取数据，根据自己的业务逻辑，去数据库获取数据。

$data = [];

$header_data = ['执行时间', '随机数']; //首行数据，表头

//模拟数据如下：

for ($i=0; $i<=100; $i++) {

$data[$i]['time'] = date('Y-m-d H:i:s', time());

$data[$i]['num'] = mt_rand(1000,9999);

}

$type = ($_POST['start'] != '0') ? 1 : 0 ;

//开始将数据写入到文件中

_export_csv($data, $header_data, $path.$file_name, $type);

//假设第100次写入完毕，那么就可以进行下载文件啦。

//可以先获取需要导出的总量，然后根据实际情况进行拆分数据，每次获取成功，进度条会显示进度。

if ($_POST['start'] == 100) {

die(json_encode(['code' => 'ok', 'file_path' => '/index.php?op=down&f='.$file_name]));

} else {

die(json_encode(['code' => 'no']));

}

//简单的导出逻辑，可根据实际情况，进行开发。

if (($_GET['op'] == 'down') && !empty($_GET['f'])) {

_download_file($path.$_GET['f']);

exit;

}

<!DOCTYPE html>

<head>

</head>

<body>

<a id="export_file" href="javascript:void(0);" class="btn btn-primary btn-lg active" role="button">导出CSV文件</a>

</div>

</div>

60%

</div>

$(document).ready(function () {

//导出CSV文件

$("#export_file").click(function(){

_get_data(0);

});

//获取数据的方法

function _get_data(start)

{

$.ajax({

type: "POST",

url : 'index.php',

data: {

'start' : start

async: true,

dataType: "json",

beforeSend: function () {

$("#download_file").css('display', 'none');

$("#process_one").show();

$("#process_two").show();

success: function (result) {

if (result.code == 'ok') {

$("#download_file").show();

$("#download_file").attr("href", result.file_path);

$("#process_one").css('display', 'none');

$("#process_two").css('display', 'none');

} else {

start ++;

_get_data(start);

$("#progress-bar-one").css("width", start+'%');

$("#progress-bar-two").css("width", start+'%');

$("#progress-bar-two").html(start+'%');

}

error: function() {

alert("Server Error~");

}

});

}

});

</script>

</body>

</html>

温馨提示：

Demo 仅供参考，具体开发，请根据需求，严谨处理。

Thanks ~

关于数据导出超时的问题相关推荐

php excel 导出超时,PHP数据导出超时、内存不足的解决
实际工作中,我们经常导出报表的需求,当导出数据量过大的时候,经常会遇到超时和内存溢出的问题. 解决方案一超时可用: set_time_limit(0) 解决. 内存溢出可用: ini_set('me ...
使用webflux提升数据导出效率
为什么80%的码农都做不了架构师?>>> 序本文主要研究一下如何使用webflux提升数据导出效率传统导出 @GetMapping("/download-old& ...
php 链接excel表格数据,php 怎么把数据导出到excel表格?php 连接 excel表格数据库数据...
php 怎么把数据导出到excel表格 php 把数据导出到excel表多种方法如使用 phpExcel 等,以下代码是直接通 header 生成 excel 文件的代码示例: header(&quo ...
c 控制mysql数据导出_MySql数据库导入导出的三种方式
第一种: 使用mysql自带的Workbench可视化工具进行操作,如图: 选择好以后按 start Export 选择好以后按 start import 第二种: 使用Navicat 右键点击转 ...
所经历的大文件数据导出（后台执行,自动生成）
所经历的大文件数据导出(后台执行,自动生成) http://www.cnblogs.com/fanfan259/p/4710019.html 阅读目录一.前言二.生成excel文件三.让程序在后 ...
数据导出组件Data-Export：数据分析处理“加速器”
数据治理通用组件WeBankBlockchain-Data当前的3个子组件--数据仓库组件Data-Stash.数据导出组件Data-Export.数据对账组件Data-Reconcile,相互独立. ...
第4.2章：StarRocks数据导出--Export
Export是StarRocks提供的将数据导出至HDFS.OSS.COS或S3等对象存储上的导出方式(当前仅支持导出为CSV文件),使用Export需要在集群中提前部署Broker组件. Expor ...
WPF及Silverlight中将DataGrid数据导出
这段源码是我在项目中实际应用的源码,没有经过删减及处理. 如果你认为有用可以摘去作为自己的导出类中的一个小工具使用. /// <summary> /// 数据源导出辅助类 ...
百度指数常见php框架,怎么导出数据到excel表格-如何将百度指数数据导出到Excel表格...
如何将百度指数数据导出到Excel表格第一步:打开CAD.CAD命令行输入"Li"."选择对象"选需要提取坐标的多段线.回车. 第二步:将CAD文本框中的数据 ...

关于数据导出超时的问题

关于数据导出超时的问题相关推荐

最新文章

热门文章