Java:将大文件拆分工具

java大文件拆分工具（过滤掉表头）

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;public class SplitTools {public static void main(String[] args) throws IOException {// "E:\\eutranrelation.csv";String bigFilePath = args[0];// "E:\\eutranrelation-%s.csv";String splitFileParttern = args[1];// 32int splitFileCount = Integer.valueOf(args[2]);BufferedReader reader = new BufferedReader(new FileReader(bigFilePath));String header = reader.readLine();int totalLine = 0;if (header != null) {String line = null;while ((line = reader.readLine()) != null) {totalLine++;}}reader.close();int splitFileTotalLines = totalLine / splitFileCount;int generateFileIdx = 0;BufferedWriter bufferedWriter = null;reader = new BufferedReader(new FileReader(bigFilePath));header = reader.readLine();int currentIdx = 0;if (header != null) {String line = null;while ((line = reader.readLine()) != null) {if (currentIdx == 0) {String filePath = String.format(splitFileParttern,String.valueOf(generateFileIdx));bufferedWriter = new BufferedWriter(new FileWriter(filePath));}bufferedWriter.write(line + "\r\n");currentIdx++;if (currentIdx == splitFileTotalLines) {generateFileIdx++;if (generateFileIdx != splitFileCount) {currentIdx = 0;bufferedWriter.flush();bufferedWriter.close();}}}if (bufferedWriter != null) {bufferedWriter.flush();bufferedWriter.close();}}reader.close();System.out.println("The total number of documents is:" + totalLine);}
}

Java:将大文件拆分工具相关推荐

java将一个大文件拆分成几个小文件输出
java读取一个大文件写到多个小文件最近看Java面试中有问到关于利用java io流,读取一个大文件,然后输出到几个小文件的问题,这里自己写了个简单的sample public static vo ...
大文件拆分小文件求top_将文件拆分为流
大文件拆分小文件求top 上周,我讨论了类Pattern新的(@since 1.8)方法splitAsStream只能根据流的需要从字符序列中读取字符序列,并且不能继续进行模式匹配以创建所有可能的元素 ...
Java 高效大文件读取和写入（一亿行）
写文件需求:写入1亿行,7位以内的随机的数字. 首先看成果图,代表没骗大家!!!!! 这个是最终生成的文件,有770多MB .下面用glogg打开预览: 程序打印耗时 7149ms + 923 ms ...
java 读取txt,java读取大文件
java 读取txt,java读取大文件 package com.bbcmart.util; import java.io.File; import java.io.RandomAccessFile; ...
Java操作word文件的工具选择
Java操作word文件的工具选择使用Java语言,创建doc.docx.excel.pdf等文档,并对文档进行一系列操作. Spire.Doc for Java https://blog.csdn ...
4种大文件传输工具和软件，用于共享大文件
无论是个人还是与团队一起工作,大文件传输软件和网站都能协助提高工作效率.有效地管理工作内容.疫情原因有时我们不得不居家办公,在这种情况下可以分享文件的工具就显得尤为重要. 每个公司都需要一个文件传输软 ...
这些大文件传输工具总结，建议外贸人士收藏
各位外贸小伙伴一定遇到过这类大文件传输难题,在成单前,不可避免的需要为客户发送产品设计稿.产品分类和其他信息明细,这些线上文件如果运用得当,很大几率能更快的促成交易,因此小到五或六个GB的文件,大到上 ...
windows 打开大文件日志工具
windows 打开大文件日志工具通常使用txt工具或nodepad++ 打开1G以上的日志上的文件会卡死或者报错.找到一个强大的工具 - EmEdit 亲测0秒打7G的日志文件,可进行编辑! ...
如何高速拷贝超大文件？大文件拷贝工具Total Copy和Burst Copy
文件越来越大,硬盘空间也越来越大,但在拷贝和移动大文件时,你是否曾遇到过麻烦?是速度太慢?是经常出现操作失败?还是在操作期间消耗过多的系统资源使系统处于停滞状态?不必担心,仔细阅读本文后,以上种种问题 ...

Java:将大文件拆分工具

Java:将大文件拆分工具相关推荐

最新文章

热门文章