大数据量Excel Import导致OOM问题

http://www.iteye.com/topic/199061

正在做一个Excel import的东东，不知道论坛上用POI的朋友有没有考虑过大数据量Excel文件导入导致内存溢出的问题

HSSFWorkbook wb=new HSSFWorkbook(new FileInputStream(fileName));

从本地得到的FileInputStream为HSSFWorkbook初始化是一次性全部加在到内存中(每行不到10个字段,总共不到20000行数据),这一句就直接抛出OOM异常

引用

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
        at org.apache.poi.hssf.usermodel.HSSFRow.createCellFromRecord(HSSFRow.java:181)
        at org.apache.poi.hssf.usermodel.HSSFSheet.setPropertiesFromSheet(HSSFSheet.java:182)
        at org.apache.poi.hssf.usermodel.HSSFSheet.<init>(HSSFSheet.java:123)
        at org.apache.poi.hssf.usermodel.HSSFWorkbook.<init>(HSSFWorkbook.java:264)
        at org.apache.poi.hssf.usermodel.HSSFWorkbook.<init>(HSSFWorkbook.java:168)
        at org.apache.poi.hssf.usermodel.HSSFWorkbook.<init>(HSSFWorkbook.java:297)
        at org.apache.poi.hssf.usermodel.HSSFWorkbook.<init>(HSSFWorkbook.java:278)
        at javaapplication4.Main.main(Main.java:30)

提问之前有查过相关贴,看到有的兄弟能处理1x万行的数据导入,不知道如何做到的.加载之前将大excel拆分成若干小文件吗?如何办到?

===============

内存加大点 -Xms？
默认只有64M

=======

kayoo 写道

内存加大点 -Xms？
默认只有64M

的确是这样
用java -Xms512m -Xmx1204m -jar xxx.jar
6万行的数据（Excel文件最大6.5w行per sheet）不到2秒都可以读入内存

大数据量Excel Import导致OOM问题相关推荐

POI3.8解决导出大数据量excel文件时内存溢出的问题
POI3.8解决导出大数据量excel文件时内存溢出的问题参考文章: (1)POI3.8解决导出大数据量excel文件时内存溢出的问题 (2)https://www.cnblogs.com/feng ...
SAP ABAP 使用 ALSM_EXCEL_TO_INTERNAL_TABLE 批导/上载大数据量 Excel （2）
SAP ABAP 使用 ALSM_EXCEL_TO_INTERNAL_TABLE 批导/上载大数据量 Excel (2) 引言: 今时不同往日了,特别是在电商和零售行业中,动不动一个导入的 Excel ...
Laravel 使用PHP_XLSXWriter实现大数据量Excel导出
我在去年写过一篇关于laravel的Excel导出文章:Laravel Excel 实现 Excel/CSV 文件导入导出功能,使用的是Laravel Excel实现的. 该扩展包含Excel导入导出 ...
Java操作大数据量Excel导入导出万能工具类（完整版）
Java操作大数据量Excel导入导出万能工具类(完整版) 转载自:https://blog.csdn.net/JavaWebRookie/article/details/80843653 更新日志: ...
SAP ABAP 探索 CL_FDT_XL_SPREADSHEET 读取大数据量 Excel 的可能性
SAP ABAP 探索 CL_FDT_XL_SPREADSHEET 读取大数据量 Excel 的可能性引言: 今时不同往日了,特别是在电商和零售行业中,动不动一个导入的 Excel 就有几十万行几十 ...
对大数据量Excel文件自动排版、转换成PDF用于印刷出版
excel排版大师下载 http://pan.baidu.com/s/1eQnY0hW 2015.3. 目录一.主要功能 2 二.系统需求 3 三.文件名要求 3 四.目录说明: 4 1.Exc ...
【Oracle EBS】解决大数据量Excel报表打开缓慢问题
1.问题描述: Oracle EBS 使用XML/EXCEL模板进行报表开发,遇到大数据量时,生成的EXCEL文件通常有几百M,打开十分缓慢. 2.解决方案: 通过ORACLE标准excel文件生成工 ...
POI百万级大数据量EXCEL导出
一. 简介 excel导出,如果数据量在百万级,会出现俩点内存溢出的问题: 1. 查询数据量过大,导致内存溢出. 该问题可以通过分批查询来解决: 2. 最后下载的时候大EXCEL转换的输出流内存溢出: ...
解决el-select后台一次返回大数据量渲染慢导致页面卡顿的问题
场景一解决了一次性渲染大量数据问题业务场景是后台一次返回10万多条数据需要在下拉框中展示,直接渲染会导致页面卡顿且需要很长时间等待,用户体验极差,所以我把这个改造了一下,直接上代码, 里面注释写的 ...

大数据量Excel Import导致OOM问题

大数据量Excel Import导致OOM问题相关推荐

最新文章

热门文章