java调sqlloader,Java调用SqlLoader将大文本数据导入数据库

项目描述

将一千万条数据，大约500M的文本文档的数据导入到数据库

分析:通过Java的IO流解析txt文本文档，拼接动态sql实现insert入库，可以实现，缺点如下

第一:IO流解析大文本文件对机器性能要求较高，测试大约消耗2G左右的内存

第二:拼接sql语句insert一千万条数据大约需要2小时时间，长时间insert会锁表，如果是核心业务表，例如订单表，会造成大量用户无法下单，影响数据库的性能

第三:这种操作可扩展性不强，每次只能针对指定的表，指定的列操作

针对以上缺点，现在通过接口调用数据库系统命令实现，通过可视化界面，选择要导入的表，要导入那些字段，上传指定的txt文本，会自动生成对应的模板文件，实现大批量数据高效率的导入到数据库，通过可配置化即可实现，相对前一种思路扩展性较强，

运行环境

jdk7+tomcat7+oracle+Eclipse+maven

项目技术(必填)

springboot+SqlLoader

java调sqlloader,Java调用SqlLoader将大文本数据导入数据库相关推荐

【Spark调优】小表join大表数据倾斜解决方案
[Spark调优]小表join大表数据倾斜解决方案参考文章: (1)[Spark调优]小表join大表数据倾斜解决方案 (2)https://www.cnblogs.com/wwcom123/p/1 ...
eplise怎么连接数据库_基于手机信令的大数据分析教程（一）数据导入数据库
前言该套教程以一个初学大数据的菜鸟视角,编写数据分析处理的整套流程.写得较为详(luo)细(suo),希望适用于任何城乡规划大数据的初学者.持续更新中,若有错误,望指正! 1.任务总纲 (1)职住数 ...
大文本导入mysql_大文本数据，导入导出到数据库
大文本数据,导入到数据库 240w的数据,利用plsql的文本导入器,导了一个半小时,且数据出现缺失. 两种方式导入到数据库一,使用sql load 创建表 create table ext_gv_ ...
java的知识点45——CLOB 存储大量的文本数据与 BLOB 二进制大对象
CLOB(Character Large Object) 用于存储大量的文本数据大字段有些特殊,不同数据库处理的方式不一样,大字段的操作常常是以流的方式来处理的. 测试CLOB 文本大对象的使用 ...
java解析csv文件写入mysql_java读取cvs文件并导入数据库
本文实例为大家分享了java读取cvs文件并导入数据库的具体代码,供大家参考,具体内容如下首先获取文件夹下面的所有类型相同的excel,可以用模糊匹配contains("匹配字段" ...
android分段加载_Android自定义ScrollView分段加载大文本数据到TextView
这是我现在碰到的一个问题,如果需要在TextView中加载大文本的时候,比如几M的txt文件时,TextView载入的时候会出现卡死的现象,甚至会出现异常等待退出出现. 解决办法之一就是通过" ...
weka java 分类算法_调用Weka算法实现文本分类
1介绍:嵌入式机器学习,在自己的算法中调用Weka实现文本分类,是一个小的数据挖掘程序,虽然实用价值不是很大,但对于Weka的理解和使用是有帮助的.本例子来自<数据挖掘:实用机器学习技术> ...
java log4j 写日志_Java log4j同时写入文本日志和数据库日志
版权声明:转载原创文章请以超链接形式请注明原文章出处,尊重作者,尊重原创! 恰饭广告 Log4jUtil.java import org.apache.log4j.Logger; import org ...
JAVA高效率 (秒级) 将千万条数据导入数据库 (已封装工具类)【详解】【一看就懂】
该gif做了加速处理,便于观看~ 今天在将一个500w+条数据的文件导入至数据库时,遇到一个异常,相信做大数据应该都有遇到.500w条数据说多不多,说少也不少.既然问题出现了,那么就一定要解决. 异 ...

java调sqlloader,Java调用SqlLoader将大文本数据导入数据库

java调sqlloader,Java调用SqlLoader将大文本数据导入数据库相关推荐

最新文章

热门文章