Oracle 中使用 fetch bulk collect into 批量效率的读取
http://www.jzxue.com/shujuku/oracle/201109/21-8976.html
通常我们获取游标数据是用 fetch some_cursor into var1, var2 的形式,当游标中的记录数不多时不打紧。然而自 Oracle 8i 起,Oracle 为我们提供了 fetch bulk collect 来批量取游标中的数据,存中即是合理的。它能在读取游标中大量数据的时候提升效率,就像 SNMP 协议中,V2 版比 V1 版新加了 GET-BULK PDU 一样,也是用来更高效的批量取设备上的节点值(原来做过网管软件开发,故联想到此)。
fetch bulk collect into 的使用格式是:fetch some_cursor collect into col1, col2 limit xxx。col1、col2 是声明的集合类型变量,xxx 为每次取数据块的大小(记录数),相当于缓冲区的大小,可以不指定 limit xxx 大小。下面以实际的例子来说明它的使用,并与逐条取记录的 fetch into 执行效率上进行比较。测试环境是 Oracle 10g 10.2.1.0,查询的联系人表 sr_contacts 中有记录数 1802983 条,游标中以 rownum 限定返回的记录数。
使用 fetch bulk collect into 获取游标数据
declare
--声明需要集合类型及变量,参照字段的 type 来声明类型
type id_type is table of sr_contacts.sr_contact_id%type;
v_id id_type;
type phone_type is table of sr_contacts.contact_phone%type;
v_phone phone_type;
type remark_type is table of sr_contacts.remark%type;
v_remark remark_type;
cursor all_contacts_cur is --用 rownum 来限定取出的记录数来测试
select sr_contact_id,contact_phone,remark from sr_contacts where rownum <= 100000;
begin
open all_contacts_cur;
loop
fetch all_contacts_cur bulk collect into v_id,v_phone,v_remark limit 256;
for i in 1..v_id.count loop --遍历集合
--用 v_id(i)/v_phone(i)/v_remark(i) 取出字段值来执行你的业务逻辑
null; --这里只放置一个空操作,只为测试循环取数的效率
end loop;
exit when all_contacts_cur%notfound; --exit 不能紧接 fetch 了,不然会漏记录
end loop;
close all_contacts_cur;
end;
declare
--声明需要集合类型及变量,参照字段的 type 来声明类型
type id_type is table of sr_contacts.sr_contact_id%type;
v_id id_type;
type phone_type is table of sr_contacts.contact_phone%type;
v_phone phone_type;
type remark_type is table of sr_contacts.remark%type;
v_remark remark_type;
cursor all_contacts_cur is --用 rownum 来限定取出的记录数来测试
select sr_contact_id,contact_phone,remark from sr_contacts where rownum <= 100000;
begin
open all_contacts_cur;
loop
fetch all_contacts_cur bulk collect into v_id,v_phone,v_remark limit 256;
for i in 1..v_id.count loop --遍历集合
--用 v_id(i)/v_phone(i)/v_remark(i) 取出字段值来执行你的业务逻辑
null; --这里只放置一个空操作,只为测试循环取数的效率
end loop;
exit when all_contacts_cur%notfound; --exit 不能紧接 fetch 了,不然会漏记录
end loop;
close all_contacts_cur;
end;
使用 fetch into 逐行获取游标数据
declare
--声明变量,参照字段的 type 来声明类型
v_id sr_contacts.sr_contact_id%type;
v_phone sr_contacts.contact_phone%type;
v_remark sr_contacts.remark%type;
cursor all_contacts_cur is --用 rownum 来限定取出的记录数来测试
select sr_contact_id,contact_phone,remark from sr_contacts where rownum <= 100000;
begin
open all_contacts_cur;
loop
fetch all_contacts_cur into v_id,v_phone,v_remark;
exit when all_contacts_cur%notfound;
--用 v_id/v_phone/v_remark 取出字段值来执行你的业务逻辑
null; --这里只放置一个空操作,只为测试循环取数的效率
end loop;
close all_contacts_cur;
end;
declare
--声明变量,参照字段的 type 来声明类型
v_id sr_contacts.sr_contact_id%type;
v_phone sr_contacts.contact_phone%type;
v_remark sr_contacts.remark%type;
cursor all_contacts_cur is --用 rownum 来限定取出的记录数来测试
select sr_contact_id,contact_phone,remark from sr_contacts where rownum <= 100000;begin
open all_contacts_cur;
loop
fetch all_contacts_cur into v_id,v_phone,v_remark;
exit when all_contacts_cur%notfound;
--用 v_id/v_phone/v_remark 取出字段值来执行你的业务逻辑
null; --这里只放置一个空操作,只为测试循环取数的效率
end loop;
close all_contacts_cur;
end;
执行性能比较
看看测试的结果,分别执行五次所耗费的秒数:
当 rownum <= 100000 时:
fetch bulk collect into 耗时:0.125秒, 0.125秒, 0.125秒, 0.125秒, 0.141秒
fetch into 耗时: 1.266秒, 1.250秒, 1.250秒, 1.250秒, 1.250秒
当 rownum <= 1000000 时:
fetch bulk collect into 耗时:1.157秒, 1.157秒, 1.156秒, 1.156秒, 1.171秒
fetch into 耗时: 12.128秒, 12.125秒, 12.125秒, 12.109秒, 12.141秒
当 rownum <= 10000 时:
fetch bulk collect into 耗时:0.031秒, 0.031秒, 0.016秒, 0.015秒, 0.015秒
fetch into 耗时: 0.141秒, 0.140秒, 0.125秒, 0.141秒, 0.125秒
当 rownum <= 1000 时:
fetch bulk collect into 耗时:0.016秒, 0.015秒, 0.016秒, 0.016秒, 0.015秒
fetch into 耗时: 0.016秒, 0.031秒, 0.031秒, 0.032秒, 0.015秒
从测试结果来看游标的记录数越大时,用 fetch bulk collect into 的效率很明显示,趋于很小时就差不多了。
注意了没有,前面使用 fetch bulk collect into 时前为每一个查询列都定义了一个集合,这样有些繁琐。我们之前也许用过表的 %rowtype 类型,同样的我们也可以定义表的 %rowtype 的集合类型。看下面的例子,同时在这个例子中,我们借助于集合的 first、last 属性来代替使用 count 属性来进行遍历。
declare
--声明需要集合类型及变量,参照字段的 type 来声明类型
type contacts_type is table of sr_contacts%rowtype;
v_contacts contacts_type;
cursor all_contacts_cur is --用 rownum 来限定取出的记录数来测试
select * from sr_contacts where rownum <= 10000;
begin
open all_contacts_cur;
loop
fetch all_contacts_cur bulk collect into v_contacts limit 256;
for i in v_contacts.first .. v_contacts.last loop --遍历集合
--用 v_contacts(i).sr_contact_id/v_contacts(i).contact_phone/v_contacts(i).remark
--的形式来取出各字段值来执行你的业务逻辑
null; --这里只放置一个空操作,只为测试循环取数的效率
end loop;
exit when all_contacts_cur%notfound;
end loop;
close all_contacts_cur;
end;
declare
--声明需要集合类型及变量,参照字段的 type 来声明类型
type contacts_type is table of sr_contacts%rowtype;
v_contacts contacts_type;
cursor all_contacts_cur is --用 rownum 来限定取出的记录数来测试
select * from sr_contacts where rownum <= 10000;begin
open all_contacts_cur;
loop
fetch all_contacts_cur bulk collect into v_contacts limit 256;
for i in v_contacts.first .. v_contacts.last loop --遍历集合
--用 v_contacts(i).sr_contact_id/v_contacts(i).contact_phone/v_contacts(i).remark
--的形式来取出各字段值来执行你的业务逻辑
null; --这里只放置一个空操作,只为测试循环取数的效率
end loop;
exit when all_contacts_cur%notfound;
end loop;
close all_contacts_cur;
end;
关于 limit 参数
你可以根据你的实际来调整 limit 参数的大小,来达到你最优的性能。limit 参数会影响到 pga 的使用率。而且也可以在 fetch bulk 中省略 limit 参数,写成
fetch all_contacts_cur bulk collect into v_contacts;
有些资料中是说,如果不写 limit 参数,将会以数据库的 arraysize 参数值作为默认值。在 sqlplus 中用 show arraysize 可以看到该值默认为 15,set arraysize 256 可以更改该值。而实际上我测试不带 limit 参数时,外层循环只执行了一轮,好像不是 limit 15,所以不写 limit 参数时,可以去除外层循环,begin-end 部分可写成:
begin
open all_contacts_cur;
fetch all_contacts_cur bulk collect into v_contacts;
for i in v_contacts.first .. v_contacts.last loop --遍历集合
--用 v_contacts(i).sr_contact_id/v_contacts(i).contact_phone/v_contacts(i).remark
--的形式来取出各字段值来执行你的业务逻辑
null; --这里只放置一个空操作,只为测试循环取数的效率
dbms_output.put_line(2000);
end loop;
close all_contacts_cur;
end;
begin
open all_contacts_cur;
fetch all_contacts_cur bulk collect into v_contacts;
for i in v_contacts.first .. v_contacts.last loop --遍历集合
--用 v_contacts(i).sr_contact_id/v_contacts(i).contact_phone/v_contacts(i).remark
--的形式来取出各字段值来执行你的业务逻辑
null; --这里只放置一个空操作,只为测试循环取数的效率
dbms_output.put_line(2000);
end loop;
close all_contacts_cur;
end;
bulk collect 的其他用法(总是针对集合)
select into 语句中,如:
SELECT sr_contact_id,contact_phone BULK COLLECT INTO v_id,v_phone
FROM sr_contacts WHERE ROWNUM <= 100;
dbms_output.put_line('Count:'||v_id.count||', First:'||v_id(1)||'|'||v_phone(1));
returning into 语句中,如:
DELETE FROM sr_contacts WHERE sr_contact_id < 30
RETURNING sr_contact_id, contact_phone BULK COLLECT INTO v_id, v_phone;
dbms_output.put_line('Count:'||v_id.count||', First:'||v_id(1)||'|'||v_phone(1));
forall 的 bulk dml 操作,它大大优于 for 集合后的操作
fetch all_contacts_cur bulk collect into v_contacts;
forall i in 1 .. v_contacts.count
--forall i in v_contacts.first .. v_contacts.last
--forall i in indices of v_contacts --10g以上,可以是非连续的集合
insert into sr_contacts(sr_contact_id,contact_phone,remark)
values(v_contacts(i).sr_contact_id,v_contacts(i).contact_phone,v_contacts(i).remark);
--或者是单条的 delete/update 操作
Oracle 中使用 fetch bulk collect into 批量效率的读取相关推荐
- Oracle 中使用 fetch bulk collect into 批量效率的读取游标数据
通常我们获取游标数据是用 fetch some_cursor into var1, var2 的形式,当游标中的记录数不多时不打紧.然而自 Oracle 8i 起,Oracle 为我们提供了 fetc ...
- oracle大数据量迁移,分批量导入样例(fetch...bulk collect)以及forall结合使用
//插入时不产生日志, alter table IALHospitalInfo nologging; //记录时间 set timing on; declareCURSOR cur is select ...
- fetch bulk collect limt 学习
create or replace procedure zxs as cursor c1 is select * from userlist; --定义游标,将表中一行 ...
- forall分批提交oracle,使用BULK COLLECT+FORALL加速批量提交
一.批量提交 批量提交特点: 占用较少undo,资源(独占锁,undo)快速释放,执行时间长 批量提交适合场景: 在线大批量插入,更新,删除数据 二.BULK COLLECT+FORALL性能提升 1 ...
- oracle中bulk,oracle---bulk collect 的用法
通过bulk collect减少loop处理的开销 采用bulk collect可以将查询结果一次性地加载到collections中. 而不是通过cursor一条一条地处理. 可以在select in ...
- oracle bulk collect into,BULK COLLECT INTO
下面我们来看两个范例,一个是使用BULK COLLECT的,一个没有: 范例1.使用多次循环来检索并显示数据. 范例2.一次性获取数据,然后再循环显示. 下面是一些有关BULK COLLECT的建议: ...
- bulk怎么使用oracle,oracle学习之bulk collect用法
通过bulk collect减少loop处理的开销,使用Bulk Collect提高Oracle查询效率 Oracle8i中首次引入了Bulk Collect特性,该特性可以让我们在PL/SQL中能使 ...
- PostgreSQL Oracle 兼容性之 - PL/SQL FORALL, BULK COLLECT
Oracle PL/SQL 开发的童鞋,一定对O家的bulk批量处理的性能很是赞赏吧. 但是PostgreSQL用户请不要垂涎,作为学院派和工业界的一颗璀璨明珠. 开源数据库PostgreSQL,也有 ...
- 使用BULK COLLECT+FORALL加速批量提交
为什么80%的码农都做不了架构师?>>> 一. 批量提交 批量提交特点: 占用较少undo,资源(独占锁,undo)快速释放,执行时间长 批量提交适合场景: 在线 ...
最新文章
- NBT:Rob Knight-微生物组数据降维新方法
- Eclipse中的常用快捷键
- Android踩坑日记:Android动态权限分析和解决方案
- 《孵化皮克斯》读书第三天
- Dockerfile 之 ARG指令详解及示例
- boost::contract模块实现customer and manager的测试程序
- 1.将cocos2d-x项目移植到Linux环境下,将cocos2d-x项目移植到手机上
- OA学习笔记-006-SPRING2.5与hibernate3.5整合
- 2018091-2 博客作业
- [css] 请问class与[class=xxx]的区别是什么?两者是否等价?
- 将chart放入panel中出现滚动条_聊天场景在web前端开发中的体验与优化
- 《Java8实战》笔记(11):CompletableFuture-组合式异步编程
- 社工大师_社工,与弱势者同行 | TED演讲
- jeecms首页模板自定义
- delphi代码在linux编译运行,[教程] Delphi 10.2 Linux 程序开发环境部署的基本步骤
- TencentOS学习笔记(1)
- win10系统更新遇到 “我们无法完成更新,正在撤销更改“ 解决办法
- appium 配置 IOS
- 中文与unicode转换
- 方程:方程(equation)是指含有未知数的等式
热门文章
- Linux(树莓派)安装 python-opencv
- 111. Minimum Depth of Binary Tree 二叉树的最小深度
- 337. House Robber III 打家劫舍 III
- 深入理解Python生成器(Generator)
- Python with...as... 语法深入解析
- 《机器学习》 —— 第二章:模型评估与选择 学习笔记
- rm -rf ~/.bashrc 的惨痛教训
- 【Linux】一步一步学Linux——pidof命令(122)
- [Qt教程] 第34篇 网络(四)FTP(二)
- oracle notes,Oracle Notes