Java进阶(一) Java高效读取大文件,占内存少
本文由 ImportNew - 进林 翻译自 Eugen Paraschiv。欢迎加入翻译小组。转载请见文末要求。
1、概述
本教程将演示如何用Java高效地读取大文件.
2、在内存中读取
读取文件行的标准方式是在内存中读取,Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法:
Files.readLines(new File(path), Charsets.UTF_8);FileUtils.readLines(new File(path));
这种方法带来的问题是文件的所有行都被存放在内存中,当文件足够大时很快就会导致程序抛出OutOfMemoryError 异常
例如:读取一个大约1G的文件:
@Test
public void givenUsingGuava_whenIteratingAFile_thenWorks() throws IOException {String path = ...Files.readLines(new File(path), Charsets.UTF_8);
}
这种方式开始时只占用很少的内存:(大约消耗了0Mb内存)
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 128 Mb
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 116 Mb
然而,当文件全部读到内存中后,我们最后可以看到(大约消耗了2GB内存)
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 2666 Mb
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 490 Mb
这意味这一过程大约耗费了2.1GB的内存——原因很简单:现在文件的所有行都被存储在内存中。
把文件所有的内容都放在内存中很快会耗尽可用内存——不论实际可用内存有多大,这点是显而易见的。
此外,我们通常不需要把文件的所有行一次性地放入内存中——相反,我们只需要遍历文件的每一行,然后做相应的处理,处理完之后把它扔掉。所以,这正是我们将要做的——通过行迭代,而不是把所有行都放在内存中。
3、文件流
现在让我们看下这种解决方案——我们将使用java.util.Scanner类扫描文件的内容,一行一行连续地读取:
FileInputStream inputStream = null;
Scanner sc = null;
try {inputStream = new FileInputStream(path);sc = new Scanner(inputStream, "UTF-8");while (sc.hasNextLine()) {String line = sc.nextLine();// System.out.println(line);}// note that Scanner suppresses exceptionsif (sc.ioException() != null) {throw sc.ioException();}
} finally {if (inputStream != null) {inputStream.close();}if (sc != null) {sc.close();}
}
这种方案将会遍历文件中的所有行——允许对每一行进行处理,而不保持对它的引用。总之没有把它们存放在内存中:(大约消耗了150MB内存)
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 763 Mb
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 605 Mb
4、Apache Commons IO流
同样也可以使用Commons IO库实现,利用该库提供的自定义LineIterator:
LineIterator it = FileUtils.lineIterator(theFile, "UTF-8");
try {while (it.hasNext()) {String line = it.nextLine();// do something with line}
} finally {LineIterator.closeQuietly(it);
}
由于整个文件不是全部存放在内存中,这也就导致相当保守的内存消耗:(大约消耗了150MB内存)
[main] INFO o.b.java.CoreJavaIoIntegrationTest - Total Memory: 752 Mb
[main] INFO o.b.java.CoreJavaIoIntegrationTest - Free Memory: 564 Mb
5、结论
这篇短文介绍了如何在不重复读取与不耗尽内存的情况下处理大文件——这为大文件的处理提供了一个有用的解决办法。
所有这些例子的实现和代码片段都可以在我的github项目上获取到——这是一个基于Eclipse的项目,所以它应该很容易被导入和运行。
原文链接: Eugen Paraschiv 翻译: ImportNew.com - 进林
译文链接: http://www.importnew.com/14512.html
[ 转载请保留原文出处、译者和译文链接。]
Java进阶(一) Java高效读取大文件,占内存少相关推荐
- Java高效读取大文件(转)
Java高效读取大文件 1.概述 本教程将演示如何用Java高效地读取大文件.这篇文章是Baeldung(http://www.baeldung.com/) 上"Java--回归基础&quo ...
- Java高效读取大文件
1.概述 本教程将演示如何用Java高效地读取大文件.这篇文章是Baeldung(http://www.baeldung.com/) 上"Java--回归基础"系列教程的一部分. ...
- java并发读取相同的文件_高效读取大文件,再也不用担心 OOM 了!
最近阿粉接到一个需求,需要从文件读取数据,然后经过业务处理之后存储到数据库中.这个需求,说实话不是很难,阿粉很快完成了第一个版本. 内存读取 第一个版本,阿粉采用内存读取的方式,所有的数据首先读读取到 ...
- 高效读取大文件,再也不用担心 OOM 了!
最近阿粉接到一个需求,需要从文件读取数据,然后经过业务处理之后存储到数据库中.这个需求,说实话不是很难,阿粉很快完成了第一个版本. 内存读取 第一个版本,阿粉采用内存读取的方式,所有的数据首先读读取到 ...
- python高效读取大文件_python 如何读取大文件
一般的读取文件的方法: with open(file_path, "r") as f: print f.read() 或者 with open(file_path,"r& ...
- pandas高效读取大文件(csv)方法之-parquet
一.数据类型轻量化 def reduce_df_memory(df):""" iterate through all the columns of a dataframe ...
- python读取大文件csv内存溢出_Python,内存错误,csv文件太大
我有一个python模块的问题,它不能处理导入大数据文件(文件目标.csv重量接近1 Gb) 加载此行时出现错误:targets = [(name, float(X), float(Y), float ...
- java 读取大文件
解决POI读取大Excel文件内存溢出问题 - 久曲健 - 博客园 java如何高效地读取一个超大文件?(四种方式分析对比) 前言 我最近在优化我的PDF转word的开源小工具,有时候会遇到一个问题, ...
- java 读取txt,java读取大文件
java 读取txt,java读取大文件 package com.bbcmart.util; import java.io.File; import java.io.RandomAccessFile; ...
- java 按行读取大文件文件内容_Java实现按行读取大文件
Java实现按行读取大文件 String file = "F:" + File.separator + "a.txt"; FileInputStream fis ...
最新文章
- 2022-2028年中国2,3,6-三甲基苯酚行业市场研究及前瞻分析报告
- 自定义input type=file 样式的方法
- Solr5.3.1通过copyField设置多个field(字段)同时检索
- 每天一道LeetCode-----将链表每k个节点逆序一次
- Spring IOC实现原理
- Spring boot admin 升级到2.3.1 遇到的问题总结
- python基础案例教程_Python基础教程 两个经典案例:阶乘和幂
- 受婴儿抓阄启发,谷歌让机器臂自学抓取物体,不用标注数据
- java springcloud版b2b2c社交电商spring cloud分布式微服务(十五)Springboot整合RabbitMQ...
- java自定义异常和throw、throws的使用
- Java计算机毕业设计电费管理系统源码+系统+数据库+lw文档
- Python:人工智能库如何选择,百度图像识别入门
- 字节跳动面试问题及答案java,字节跳动面试题+答案,全答对的30K以上
- linux桌面小程序开发(pyqt+新增csv增删改查功能)附加章节
- pytorch的两个函数 .detach() .detach_() 的作用和区别
- 计算机高级工程师一般工资多少,高级工程师年薪是多少 分为哪些级别
- ‘https://start.spring.io‘ 的初始化失败请检查 URL、网络和代理设置。
- HDU-4477 Cut the rope II 递推
- oracle系统pga,oracle教程之PGA管理
- outlook收邮件延迟_如何计划或延迟在Outlook中发送电子邮件
热门文章
- QT 自定义圆形QLabel 加载圆形图片
- python 多张图片合成pdf_Python多图片合并PDF的方法
- Eclipse项目上传码云
- Ubuntu20.4:安装OpenCV4,配置vscode+CMake作为基本开发环境
- HDU5211——Mutiple
- c语言小组作业报告,C语言实训总结报告范文
- python股票回测_python量化入门(一)——利用特定指标筛选股票并回测
- java 实现 excel 去重,excel实现筛选去重操作
- Python实现Excel表格数据去重
- 掘进机数字孪生,掘进机远程智能控制