java读取大文件并添加入库，按行读取

文中流程有注释

public static void main(String[] args) {//文件地址(绝对路径)String Path = "D:\\tools\\products.json";BufferedReader reader = null;//读取数据拼接字符串String laststr = "";List<Review> reviewList = new ArrayList<>();//读取所用时间long timer = System.currentTimeMillis();try {//读取FileInputStream fileInputStream = new FileInputStream(Path);InputStreamReader inputStreamReader = new InputStreamReader(fileInputStream, "UTF-8");reader = new BufferedReader(inputStreamReader);String tem = "";int i = 1;//循环读取，一次读取一行while ((tem = reader.readLine()) != null) {//创建对象 解析一行数据中的json数据Review review = new Review();review.setDate(JsonPath.read(tem, "$.time"));review.setReviewer(JsonPath.read(tem, "$.name"));review.setContent(JsonPath.read(tem, "$.text"));String images = JsonPath.read(tem, "$.image").toString();review.setImages(images.substring(1, images.length() - 1));review.setContent(JsonPath.read(tem, "$.country"));review.setStars(JsonPath.read(tem, "$.star"));try {review.setProductId(Long.parseLong(JsonPath.read(tem, "$.product_id").toString()));} catch (PathNotFoundException p) {continue;}//添加到listreviewList.add(review);//由于虚拟机内存原因，list一次我选择放入一万条数据后就清空if (reviewList.size() == 10000) {//插入数据到数据库int m = reviewService.addReviewList(reviewList);reviewList.clear();}System.out.println(i);i++;}//将不足一万条的数据插入数据库int n=reviewService.addReviewList(reviewList);System.out.println(n);reader.close();} catch (IOException e) {e.printStackTrace();} finally {if (reader != null) {try {reader.close();timer = System.currentTimeMillis() - timer;System.out.println("处理时间：" + timer);} catch (IOException e) {e.printStackTrace();}}}}

java读取大文件并添加入库，按行读取相关推荐

php 按行读取太慢,3分钟短文 | 大神救我！18G的大文件，PHP咋按行读取？
原标题:3分钟短文 | 大神救我!18G的大文件,PHP咋按行读取? 引言想逐行读取文件,完全避免把这个文件加载到内存中.如果文件太大(比如 18G),无法在内存中打开,还是要硬来的话,会抛出异常. ...
php file 按行读取,3分钟短文 | 大神救我！18G的大文件，PHP咋按行读取？
原标题:3分钟短文 | 大神救我!18G的大文件,PHP咋按行读取? 引言想逐行读取文件,完全避免把这个文件加载到内存中.如果文件太大(比如 18G),无法在内存中打开,还是要硬来的话,会抛出异常. ...
python读取大文件性能_强悍的Python读取大文件的解决方案
Python 环境下文件的读取问题,请参见拙文 Python基础之文件读取的讲解这是一道著名的 Python 面试题,考察的问题是,Python 读取大文件和一般规模的文件时的区别,也即哪些接口不适 ...
php并发取源码,PHP读取大文件源码示例-Swoole多进程读取大文件
PHP读取大文件源码示例,通过PHP读取过大.超大型文件的思路及解决方案. 在日常读取文件时,若文件不是很大,通常使用file_get_contents,将内容一次性载入的变量中,也可以远程加载网页 ...
java xml 大文件怎么打开_JAVA xml 流方式读取。数据挖掘大文件预处理。
importjava.io.BufferedReader;importjava.io.BufferedWriter;importjava.io.File;importjava.io.FileReade ...
java 读取txt,java读取大文件
java 读取txt,java读取大文件 package com.bbcmart.util; import java.io.File; import java.io.RandomAccessFile; ...
java 按行读取大文件文件内容_Java实现按行读取大文件
Java实现按行读取大文件 String file = "F:" + File.separator + "a.txt"; FileInputStream fis ...
Java高效读取大文件
1.概述本教程将演示如何用Java高效地读取大文件.这篇文章是Baeldung(http://www.baeldung.com/) 上"Java--回归基础"系列教程的一部分. ...
Java高效读取大文件（转）
Java高效读取大文件 1.概述本教程将演示如何用Java高效地读取大文件.这篇文章是Baeldung(http://www.baeldung.com/) 上"Java--回归基础&quo ...

java读取大文件并添加入库，按行读取

java读取大文件并添加入库，按行读取相关推荐

最新文章

热门文章