java高效快速读取CSV文件

网上基本使用readline读取,这样一行行读取太慢了.
我也看了好多使用apache-common包读取的. 也不是那么的快.
这里提供一种并行流的方式.仅供参考

你如果有更高效的读取方式,请在下方留言. 我真的需要…谢谢

将文件读取为BufferedReader, 然后使用java8的并行流读取, 注意, 并行流不是线程安全的;

废话不多说, 上代码


```javaimport cn.hutool.core.date.DateUtil;
import cn.hutool.core.date.TimeInterval;
import cn.hutool.core.io.FileUtil;
import cn.hutool.core.io.IoUtil;
import org.apache.commons.compress.utils.Lists;import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.util.Collection;
import java.util.Collections;
import java.util.stream.Stream;import static com.example.mytest.test.Constant.bigCSV_50W;/*** 多线程读取CSV** @author: riyueming* @date: 2021/8/2* @description:*/
public class CsvThreadTest {/*** 多线程读取文件测试** @param args*/public static void main(String[] args) {TimeInterval timer = DateUtil.timer();//并行流 没有数据安全,需要synchronizedCollection<Object> objects = Collections.synchronizedCollection(Lists.newArrayList());File touch = FileUtil.touch("D:/data/unitedata/local/ftp_1.csv");FileInputStream fileInputStream = IoUtil.toStream(touch);BufferedReader utf8Reader = IoUtil.getUtf8Reader(fileInputStream);Stream<String> lines = utf8Reader.lines();lines.parallel().forEach(s ->{objects.add(s);});System.out.println(objects.size());System.out.println("-----执行结束-----" + timer.interval()+"ms");}
}```

其中"D:/data/unitedata/local/ftp_1.csv" 的数据量为50W条左右. 大小9M左右

其中内容只有一列uuid

运行效果:

再测试下 1000W的数据,结果如下

我已经测试过1000W 数据量,
如果使用readline读取大约10s左右.
使用apache-common读取大约是8s左右.

最后提供上述代码使用了 hutool工具包

        <dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>5.6.5</version></dependency>

java高效快速读取CSV文件相关推荐

java读取csv文件_使用扫描仪读取Java中的CSV文件
java读取csv文件 We can use Java Scanner Class to read CSV File in java. 我们可以使用Java扫描程序类在Java中读取CSV文件. 读取 ...
openCsv读取csv文件
https://blog.csdn.net/cat_book_milk/article/details/52953786 Java读取csv文件 https://blog.csdn.net/galen ...
python导入csv数据例子-使用python读取csv文件快速插入数据库的实例
如下所示: # -*- coding:utf-8 -*- # auth:ckf # date:20170703 import pandas as pd import cStringIO import ...
java中iterator_如何在Java中读取CSV文件-Iterator和Decorator的案例研究
java中iterator 在本文中,我将讨论如何使用Apache Common CSV读取CSV(逗号分隔值)文件. 从这个案例研究中,我们将学习如何在设计模式的上下文中使用Iterator和Dec ...
如何在Java中读取CSV文件-Iterator和Decorator的案例研究
在本文中,我将讨论如何使用Apache Common CSV读取CSV(逗号分隔值)文件. 从这个案例研究中,我们将学习如何在设计模式的上下文中使用Iterator和Decorator来提高不同情况下 ...
java将数据写入csv文件，从csv文件中读取数据
全栈工程师开发手册 (作者:栾鹏) java教程全解 java将数据写入csv文件,从csv文件中读取数据测试代码 public static void main(String[] arges){/ ...
java输出和读取CSV格式文件
JavaでCSVファイルを出力する方法をていねいに解説! 输出CSV文件 package cn.itcast.mybatis.test;import java.io.BufferedWriter; i ...
java读取csv文件的两种方式
java读取csv文件的两种方式 1.CsvReader读取 import com.csvreader.CsvReader; /*** CsvReader 读取* @param filePath* @ ...
java读取csv文件的行数_JMeter 读取 CSV 文件数据行数
在用 JMeter 做测试时,经常需要调用外部 CSV 文件的数据到脚本中使用,如果我们想对 CSV 文件中数据的行数进行统计,这个怎么做呢? 针对上面表格的数据,我们一起来学习一下如何统计数据行数吧 ...
Java文件读写和CSV文件解析（读取csv文件的一列或若干列）
文件类 Java 读文件流的知识不可少,先复习一下吧! OREACLE JDK8 DOCS 文件类是Java IO的一个对象,用于指定文件的相关信息,位置和名称信息.如txt文件,csv文件对Java ...

java高效快速读取CSV文件

java高效快速读取CSV文件相关推荐

最新文章

热门文章