java 百万数据查询_java一次性查询几十万,几百万数据解决办法
java查询一次性查询几十万,几百万数据解决办法
很早的时候写工具用的一个办法。
当时是用来把百万数据打包 成rar文件。
所以用了个笨办法。 希望高手指导一下,有什么好方法没有啊
1、先批量查出所有数据,例子中是一万条一批。
2、在查出数据之后把每次的数据按一定规则存入本地文件。
3、获取数据时,通过批次读取,获得大批量数据。此方法参见:http://yijianfengvip.blog.163.com/blog/static/175273432201191354043148/
以下是查询数据库。按批次查询
public static void getMonthDataList() {
ResultSet rs = null;
Statement stat = null;
Connection conn = null;
List list = new ArrayList();
try {
conn = createConnection();
if(conn!=null){
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd");
SimpleDateFormat timesdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
String nowDate = sdf.format(new Date());
Config.lasttimetext = timesdf.format(new Date());
String lastDate = sdf.format(CreateData.addDaysForDate(new Date(), 30));
stat = conn.createStatement(ResultSet.TYPE_SCROLL_SENSITIVE,ResultSet.CONCUR_UPDATABLE);
int lastrow = 0;
int datanum = 0;
String countsql = "SELECT count(a.id) FROM trip_special_flight a" +
" where a.dpt_date >= to_date('"+nowDate+"','yyyy-mm-dd') " +
"and a.dpt_date <= to_date('"+lastDate+"','yyyy-mm-dd') and rownum>"+lastrow+" order by a.get_time desc";
rs = stat.executeQuery(countsql);
while (rs.next()) {
datanum = rs.getInt(1);
}
int onerun = 10000;
int runnum = datanum%onerun==0?(datanum/onerun):(datanum/onerun)+1;
for(int r =0;r
System.out.println("getMonthDataList--"+datanum+" 开始查询第"+(r+1)+"批数据");
String sql = "SELECT * FROM (SELECT rownum rn, a.dpt_code, a.arr_code,a.dpt_date,a.airways,a.flight," +
"a.cabin,a.price FROM trip_special_flight a" +
" where a.dpt_date >= to_date('"+nowDate+"','yyyy-mm-dd') " +
"and a.dpt_date <= to_date('"+lastDate+"','yyyy-mm-dd') order by rownum asc) WHERE rn > "+lastrow;
stat.setMaxRows(onerun);
stat.setFetchSize(1000);
rs = stat.executeQuery(sql);
String text = "";
int i = 1;
while (rs.next()) {
text += rs.getString(2)+"|"+rs.getString(3)+"|"+rs.getDate(4)+"|"+rs.getString(5)+"|"+rs.getString(6)+"|"+rs.getString(7)+"|"+rs.getString(8)+"||";
if(i%1000==0){
FileUtil.appendToFile(Config.tempdatafile, text);
text = "";
}
i++;
}
if(text.length()>10){
FileUtil.appendToFile(Config.tempdatafile, text);
}
lastrow+=onerun;
}
}
} catch (Exception e) {
e.printStackTrace();
} finally {
closeAll(rs, stat, conn);
}
}
-----java一次性查询几十万,几百万数据解决办法
存入临时文件之后,再用读取大量数据文件方法。
设置缓存大小BUFFER_SIZE ,Config.tempdatafile是文件地址
来源博客http://yijianfengvip.blog.163.com/blog/static/175273432201191354043148/
package com.yjf.util;
import java.io.File;
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
public class Test {
public static void main(String[] args) throws Exception {
final int BUFFER_SIZE = 0x300000; // 缓冲区为3M
File f = new File(Config.tempdatafile);
// 来源博客http://yijianfengvip.blog.163.com/blog/static/175273432201191354043148/
int len = 0;
Long start = System.currentTimeMillis();
for (int z = 8; z >0; z--) {
MappedByteBuffer inputBuffer = new RandomAccessFile(f, "r")
.getChannel().map(FileChannel.MapMode.READ_ONLY,
f.length() * (z-1) / 8, f.length() * 1 / 8);
byte[] dst = new byte[BUFFER_SIZE];// 每次读出3M的内容
for (int offset = 0; offset < inputBuffer.capacity(); offset += BUFFER_SIZE) {
if (inputBuffer.capacity() - offset >= BUFFER_SIZE) {
for (int i = 0; i < BUFFER_SIZE; i++)
dst[i] = inputBuffer.get(offset + i);
} else {
for (int i = 0; i < inputBuffer.capacity() - offset; i++)
dst[i] = inputBuffer.get(offset + i);
}
int length = (inputBuffer.capacity() % BUFFER_SIZE == 0) ? BUFFER_SIZE
: inputBuffer.capacity() % BUFFER_SIZE;
len += new String(dst, 0, length).length();
System.out.println(new String(dst, 0, length).length()+"-"+(z-1)+"-"+(8-z+1));
}
}
System.out.println(len);
long end = System.currentTimeMillis();
System.out.println("读取文件文件花费:" + (end - start) + "毫秒");
}
}
读取大量数据文件方法。
java 百万数据查询_java一次性查询几十万,几百万数据解决办法相关推荐
- ClassCastException: java.lang.String cannot be cast to com.alibaba.fastjson.JSONObject 的解决办法
问题概述 关于这个问题,是与第三方公司合作,远程调用服务接口时(就相当于调用远程服务提供者)遇到的这个问题," java.lang.ClassCastException: java.lang ...
- java.lang.IllegalArgumentException: object is not an instance of declaring class 的解决办法
问题概述 在项目开发的工作中,需要对数据报表进行导入导出的操作,为了方便快捷,使用的了EasyPOI,EasyPOI就像其名称一样,让报表操作的更容易些,它主要对POI进行了再封装,不像以前使用POI ...
- vue项目下props传进去的数据,生命周期勾子函数包括watch不触发的解决办法
vue项目下props传进去的数据,生命周期勾子函数包括watch不触发的解决办法 @TOC 遇到的问题 在深层props过程中,props的数据传到了目标文件 但却没有触发数据更新及页面更新: wa ...
- java查询几万条数据_java一次性查询几十万,几百万数据解决办法(转载)
0hB)H"aK ZJ%K Z0java查询一次性查询几十万,几百万数据解决办法51Testing软件测试网0L?pAzOk51Testing软件测试网2@ai.g\1p 很早的时候写工具用 ...
- java查询几万条数据_java一次性查询几十万,几百万数据解决办法
java一次性查询几十万,几百万数据解决办法 java查询一次性查询几十万,几百万数据解决办法 很早的时候写工具用的一个办法. 当时是用来把百万数据打包 成rar文件. 所以用了个笨办法. 希望高手指 ...
- java 百万级数据处理_一次性查询百万级数据应该怎么处理?
比如现在有个需求,一个统计站的某张表有百万行的数据,需要通过一系列的计算来再展示到页面(不能使用分页),计算可以 跳过,就单纯的查询.如下://long d1 = new Date().getTime ...
- java异步处理同步化_java 异步查询转同步多种实现方式:循环等待,CountDownLatch,Spring Even...
异步转同步 业务需求 有些接口查询反馈结果是异步返回的,无法立刻获取查询结果. 正常处理逻辑 触发异步操作,然后传递一个唯一标识. 等到异步结果返回,根据传入的唯一标识,匹配此次结果. 如何转换为同步 ...
- java异步处理同步化_java 异步查询转同步多种实现方式:循环等待,CountDownLatch,Spring EventListener,超时处理和空循环性能优化...
异步转同步 业务需求 有些接口查询反馈结果是异步返回的,无法立刻获取查询结果. 正常处理逻辑 触发异步操作,然后传递一个唯一标识. 等到异步结果返回,根据传入的唯一标识,匹配此次结果. 如何转换为同步 ...
- hbase java api 查询_java api 查询hbase
考虑到Java代码一般就是查询hbase存储的hadoop运算的结果数据,下面记录下查询的简单范例代码 package com.lvmama.crm.web.controller.csVipManag ...
最新文章
- Linux之复制、移动文件及目录命令
- 使用KNN模型进行多输出分类实战(Multioutput Classification)
- 编译android系统小结
- vue+webpack+amazeui项目小记
- 【Netty】零拷贝案例 ( transferTo | transferFrom )
- 【Android】Eclipse JNI开发
- 深度学习之边框回归(Bounding Box Regression)
- 税收与补贴问题(洛谷-P1023)
- J2EE--Mybatis基础知识题
- pytorch使用说明2
- 编译错误:GL/glew.h, GL/glut.h, EGL/egl.h没有那个文件或目录
- Oracle从10g升级到11g详细步骤
- 字节跳动sql笔试题
- 计算机组成原理实验报告 实验五 三人表决电路实验
- 腾讯产品策划类笔试题
- 【SDK】Android海康网络SDK实现人脸和车牌等报警图片抓拍功能
- 联想计算机usb启动怎么办,联想电脑没有u盘启动该如何解决?解决联想电脑没有u盘启动的方法...
- 中国最美滴100首古诗
- Matplotlib confusion map显示不全
- Unity3D中在Game视图调整屏幕大小,回到Scen视图发现游戏界面被改变了(解决方案)
热门文章
- 计算机二级本科免修,计算机二级证书可以免考自考的哪些科目?
- 基于内容的视频信息检索系统
- 【CTF】java反序列-2020-网鼎杯-朱雀组-Web-think_java
- java中的4种访问制权限有哪些?分别作用范围是什么?
- 程序员为什么要学习算法?
- 解决Android Studio(2022版)gradle下载慢问题
- [Android]如何做一个崩溃率少于千分之三噶应用app(17)-组件化SDK
- 精妙绝伦的jQuery——改进导航:菜单、标签及折叠选项
- 泰晤士世界大学排名公布,中国137所高校上榜!
- 谁说计算机专业只能去互联网敲代码?国企,公务员,产品经理照样很香|应届生求职指南