JavaWEB_POI导出大量数据excel（50万左右）

POI 对大数据量的导出是一个难点，这里博主总结了两种处理方式：

方式一，使用高版本的POI，具有内存自动释放的特点。

方式二，将数据导出到多个Excel中，并进行压缩处理，上传到服务器中。

方式一：

POI之前的版本不支持大数据量处理，如果数据过多则经常报OOM错误，有时候调整JVM大小效果也不是太好。3.8版本的POI新出来了SXSSFWorkbook,可以支持大数据量的操作，只是SXSSFWorkbook只支持.xlsx格式，不支持.xls格式。

3.8版本的POI对excel的导出操作，一般只使用HSSFWorkbook以及SXSSFWorkbook，HSSFWorkbook用来处理较少的数据量，SXSSFWorkbook用来处理大数据量以及超大数据量的导出。

HSSFWorkbook的使用方法和之前的版本的使用方法一致，这里就不在陈述使用方法了

SXSSFWorkbook的使用例子如下：

import junit.framework.Assert;

import org.apache.poi.ss.usermodel.Cell;

import org.apache.poi.ss.usermodel.Row;

import org.apache.poi.ss.usermodel.Sheet;

import org.apache.poi.ss.usermodel.Workbook;

import org.apache.poi.ss.util.CellReference;

import org.apache.poi.xssf.streaming.SXSSFWorkbook;

public static void main(String[] args) throws Throwable {

 Workbook wb = new SXSSFWorkbook(100); // keep 100 rows in memory, exceeding rows will be flushed to disk

 Sheet sh = wb.createSheet();

 for(int rownum = 0; rownum < 100000; rownum++){

 Row row = sh.createRow(rownum);

 for(int cellnum = 0; cellnum < 10; cellnum++){

 Cell cell = row.createCell(cellnum);

 String address = new CellReference(cell).formatAsString();

 cell.setCellValue(address); }

FileOutputStream out = new FileOutputStream("/temp/sxssf.xlsx");

 wb.write(out);

 out.close();

以前还用xml来处理，现在3.8以上就好办了。

原文地址是：http://blog.sina.com.cn/s/blog_68555ee501015xk2.html

apache官网相关内容地址：http://poi.apache.org/spreadsheet/how-to.html#sxssf

方式二：

说明：我的电脑 2.0CPU 2G内存能够十秒钟导出 20W 条数据 ,12.8M的excel内容压缩后2.68M

我们知道在POI导出Excel时，数据量大了，很容易导致内存溢出。由于Excel 一个sheet允许的最大行数是65536这时我们想到分sheet进行导出；但是这种情况也不能解决内存溢出的问题。毕竟数据还是一次性在内存中进行保存的。这时我们想是不是可以导出多个excel呢？下面我就尝试着按照导出多个excel

首先：我们要确定数据量有多大，然后确定一个excel导出多少条数据，这样就可以确定导出的Excel的数量，于是我们就可以循环的导出excel并保存在任意的临时目录中。去这样如果内存不够的话虚拟机就会去进行回收已经保存的excel在内存中的空间。

假设我们我们已经成功的生成了多个excel，这时我们怎么把这N个excel文档传到客户端呢？其实一个一个的传也未尝不可，但是考虑那样对用户来说体验不够好，再次多个文件在网络上传输也比较慢。我们可以考虑对生成的几个文件进行压缩，然后传到客户端。

总结一下

第一、分批次生成excel

第二、压缩后到客户端

下面我把我的一个小实例贴上供大家参考

第一、Person.java 普通javabean

Javabean代码

package bean;
/**
*
* @author http://javaflex.iteye.com/
*
*/
public class Person {
private Integer id;
private String name;
private String address;
private String tel;
private Double money=0.0;
public Double getMoney() {
return money;
}
public void setMoney(Double money) {
this.money = money;
}
public Person(Integer id, String name, String address, String tel,Double money) {
super();
this.id = id;
this.name = name;
this.address = address;
this.tel = tel;
this.money=money;
}
public Integer getId() {
return id;
}
public void setId(Integer id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public String getAddress() {
return address;
}
public void setAddress(String address) {
this.address = address;
}
public String getTel() {
return tel;
}
public void setTel(String tel) {
this.tel = tel;
}
}

第二、PersonService模拟业务逻辑循环生成100023个Person对象

模拟业务逻辑代码

package service;
import java.util.ArrayList;
import java.util.List;
import bean.Person;
/**
*
* @author http://javaflex.iteye.com/
*
*/
public class PersonService {
public static List getPerson(){
List<Person> list =new ArrayList<Person>();
for(int i=0;i<100320;i++){
list.add(new Person(i,"zhangsan"+i,"北京"+i,"13214587632",123123.12+i));
}
return list;
}
}

第三、业务处理Servlet

操作servlet代码

package servlet;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStream;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import javax.servlet.ServletException;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.hssf.util.CellRangeAddress;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.CellStyle;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import bean.Person;
import service.PersonService;
/**
*
* @author http://javaflex.iteye.com/
*
*/
public class PersonServlet extends HttpServlet {
private String fileName;
public PersonServlet() {
super();
}
public void destroy() {
super.destroy(); // Just puts "destroy" string in log
// Put your code here
}
public void doGet(HttpServletRequest request, HttpServletResponse response)
throws ServletException, IOException {
// 文件名获取
Date date = new Date();
SimpleDateFormat format = new SimpleDateFormat("yyyyMMddHHmmss");
String f = "Person-" + format.format(date);
this.fileName = f;
setResponseHeader(response);
OutputStream out = null;
try {
out = response.getOutputStream();
List<Person> list = PersonService.getPerson();
toExcel(list,request,10000,f,out);
} catch (IOException e1) {
e1.printStackTrace();
} finally {
try {
out.flush();
out.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
/** 设置响应头 */
public void setResponseHeader(HttpServletResponse response) {
try {
response.setContentType("application/octet-stream;charset=UTF-8");
response.setHeader("Content-Disposition", "attachment;filename="
+ java.net.URLEncoder.encode(this.fileName, "UTF-8")
+ ".zip");
response.addHeader("Pargam", "no-cache");
response.addHeader("Cache-Control", "no-cache");
} catch (Exception ex) {
ex.printStackTrace();
}
}
public void doPost(HttpServletRequest request, HttpServletResponse response)
throws ServletException, IOException {
doGet(request, response);
}
public void init() throws ServletException {
// Put your code here
}
public void toExcel(List<Person> list, HttpServletRequest request,
int length, String f, OutputStream out) throws IOException {
List<String> fileNames = new ArrayList();// 用于存放生成的文件名称s
File zip = new File(request.getRealPath("/files") + "/" + f + ".zip");// 压缩文件
// 生成excel
for (int j = 0, n = list.size() / length + 1; j < n; j++) {
Workbook book = new HSSFWorkbook();
Sheet sheet = book.createSheet("person");
double d = 0;// 用来统计
String file = request.getRealPath("/files") + "/" + f + "-" + j
+ ".xls";
fileNames.add(file);
FileOutputStream o = null;
try {
o = new FileOutputStream(file);
// sheet.addMergedRegion(new
// CellRangeAddress(list.size()+1,0,list.size()+5,6));
Row row = sheet.createRow(0);
row.createCell(0).setCellValue("ID");
row.createCell(1).setCellValue("NAME");
row.createCell(2).setCellValue("ADDRESS");
row.createCell(3).setCellValue("TEL");
row.createCell(4).setCellValue("Money");
int m = 1;
for (int i = 1, min = (list.size() - j * length + 1) > (length + 1) ? (length + 1)
: (list.size() - j * length + 1); i < min; i++) {
m++;
Person user = list.get(length * (j) + i - 1);
Double dd = user.getMoney();
if (dd == null) {
dd = 0.0;
}
d += dd;
row = sheet.createRow(i);
row.createCell(0).setCellValue(user.getId());
row.createCell(1).setCellValue(user.getName());
row.createCell(2).setCellValue(user.getAddress());
row.createCell(3).setCellValue(user.getTel());
row.createCell(4).setCellValue(dd);
}
CellStyle cellStyle2 = book.createCellStyle();
cellStyle2.setAlignment(CellStyle.ALIGN_CENTER);
row = sheet.createRow(m);
Cell cell0 = row.createCell(0);
cell0.setCellValue("Total");
cell0.setCellStyle(cellStyle2);
Cell cell4 = row.createCell(4);
cell4.setCellValue(d);
cell4.setCellStyle(cellStyle2);
sheet.addMergedRegion(new CellRangeAddress(m, m, 0, 3));
} catch (Exception e) {
e.printStackTrace();
}
try {
book.write(o);
} catch (Exception ex) {
ex.printStackTrace();
} finally {
o.flush();
o.close();
}
}
File srcfile[] = new File[fileNames.size()];
for (int i = 0, n = fileNames.size(); i < n; i++) {
srcfile[i] = new File(fileNames.get(i));
}
util.FileZip.ZipFiles(srcfile, zip);
FileInputStream inStream = new FileInputStream(zip);
byte[] buf = new byte[4096];
int readLength;
while (((readLength = inStream.read(buf)) != -1)) {
out.write(buf, 0, readLength);
}
inStream.close();
}
}

最后还有个工具类package util;

压缩工具类代码

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;
/**
*
* @author http://javaflex.iteye.com/
*
*/
public class FileZip {
/**
*
* @param srcfile 文件名数组
* @param zipfile 压缩后文件
*/
public static void ZipFiles(java.io.File[] srcfile, java.io.File zipfile) {
byte[] buf = new byte[1024];
try {
ZipOutputStream out = new ZipOutputStream(new FileOutputStream(
zipfile));
for (int i = 0; i < srcfile.length; i++) {
FileInputStream in = new FileInputStream(srcfile[i]);
out.putNextEntry(new ZipEntry(srcfile[i].getName()));
int len;
while ((len = in.read(buf)) > 0) {
out.write(buf, 0, len);
}
out.closeEntry();
in.close();
}
out.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}

OK全部内容完成

12.8M的excel内容压缩后2.68M，给力吧

以后记得代码加注释

亲，记得给个评论哦

大小: 4.4 KB

大小: 2.5 KB

POI.rar (5.7 MB)
下载次数: 1449

JavaWEB_POI导出大量数据excel（50万左右）相关推荐

jconsole 查看 SXSSFWorkbook导出百万数据excel内存使用情况
模拟代码如下:计划使用SXSSFworkbook导出1000000行,230列数据的excel. import org.apache.poi.xssf.streaming.SXSSFCell; imp ...
导出超大数据excel，基于EEC实现
简要说明: 大数据导出导入excel,网上许多使用EasyExcel进行实现,但EasyExcel是基于Apache poi进行封装的所以存在一个共病[占用内存过大],在找了许多个poi框架如Auto ...
POI3.8 导出大数据excel（50万左右）
转载地址http://blog.csdn.net/yys79/article/details/26443603 POI之前的版本不支持大数据量处理,如果数据过多则经常报OOM错误,有时候调整JVM大小 ...
JAVA 导出大批量数据EXCEL
转自http://www.itboth.com/d/MjI3Ef/excel-java 参考资料:http://bbs.51cto.com/thread-1074293-1-1.html http:/ ...
POI导出百万数据 EXCEL addMergedReigon 合并单元格慢的问题解决
本文最重要的就是以下重写的方法,如果你仅仅是感觉导出慢,原因又是因为合并单元格,那么你直接用一下方法合并就好. private static void addMergedReigon(CTWorksh ...
使用Mysql Navcat导出查询数据excel时出现数据丢失
背景今天应产品运营的需要,需要导出一批订单数据,总数一共是七万多.按照以往的方式使用navicat将查询出来的表结果以excel的形式导出. 导出至本地打开excel后发现算上表头一共才65536行 ...
PHPExcel 导出的数据Excel打开出现部分内容有问题是否让我们尽量尝试恢复的问题解决方案
PHPExcel 导出之后WPS打开正常,Excel错误解决方案具体如下在我们导出数据到本地的时候用Excel打开发现会出现以下弹窗: 而用金山的WPS却没有问题.下面看一下解决方案. 其实很简单, ...
java导出大数据excel表格，导出数据
常规的java导出excel表格最大的数据量是65535行. package com.sf.module.timeManagement.biz; import java.io.ByteArrayInp ...
layui实现导出全部数据Excel
因为layui官网实现的是导出当前页的数据(20190718),所以下面的代码是实现导出全部的数据和选择性数据导出. 大家可以搜索标题下载选择性导出数据.使用的框架:spring,springmvc, ...

JavaWEB_POI导出大量数据excel（50万左右）

JavaWEB_POI导出大量数据excel（50万左右）相关推荐

最新文章

热门文章