oracle append parallel,大量数据快速插入方法探究[nologging+parallel+append]

大量数据快速插入方法探究

快速插入千万级别的数据，无非就是nologging+parallel+append。

1环境搭建

构建一个千万级别的源表，向一个空表insert操作。

参考指标：insert动作完成的实际时间。SQL> drop table test_emp cascadeconstraints purge;

Table dropped.

SQL> create table test_emp as select *from emp;

Table created.

SQL> begin

2 for i in 1..10 loop

3 insert into test_emp select *from test_emp; --批量dml，建议forall

4 end loop;

5 end;

6 /

PL/SQL procedure successfully completed.

SQL> select count(*) from test_emp;

COUNT(*)

----------

14336

SQL> begin

2 for i in 1..10 loop

3 insert into test_emp select *from test_emp;

4 end loop

5 ;

6 end;

7 /

PL/SQL procedure successfully completed.

SQL> select count(*) from test_emp;

COUNT(*)

----------

14680064 --1.5千万级别

2only appendSQL> set timing on

SQL> show timing

timing ON

SQL> insert /*+ append */ into test_goalselect * from test_emp;

14680064 rows created.

Elapsed: 00:00:20.72

没有关闭日志，所以时间是最长的。

3append+nologgingSQL> truncate table test_goal;

Table truncated.

Elapsed: 00:00:00.11

SQL> insert /*+ append */ into test_goalselect * from test_emp nologging;

14680064 rows created.

Elapsed: 00:00:04.82

发现日志对插入的影响很大，加nologging时间明显大幅缩短；当然这个表没有索引、约束等，这里暂不考究。

4append+nologging+parallelSQL> truncate table test_goal;

Table truncated.

Elapsed: 00:00:00.09

SQL> insert /*+ parallel(2) append */into test_goal select * from test_emp nologging;

14680064 rows created.

Elapsed: 00:00:02.86

这里在3的基础上加上并行，性能基本达到极限，1.5千万数据插入时间控制在3S左右。并行在服务器性能支持的情况下，可以加大并行参数。

oracle append parallel,大量数据快速插入方法探究[nologging+parallel+append]相关推荐

oracle数据库速度测试,【原创】验证在Oracle数据库中操纵数据的各种方法的速度...
机器配置:组装的PC SERVER,4AMD CPU,8G内存,4块SCSI硬盘.Oracle 10.2.0.4. 试验目的:在244上,对xxx_flow表进行复制.更新,验证在Oracle数据库中 ...
Oracle新建的用户看不到表,Oracle 创建用户及数据表的方法
Oracle 创建用户及数据表的方法更新时间:2009年09月25日 23:13:29 作者: 刚开始学习oracle的朋友可以看下,这个是基础了. 一.概念 1. 数据库 (Database) ...
oracle中有类似split的方法么,Oracle 实现拆分列数据的split()方法
'one,two,three,four,five,six,seven,eight,nine,zero'as source_string from dual),-- 统计字符串中子串的个数,用 ','来 ...
海量点云数据快速读取方法
最近阅读了一篇文章--<基于内存映射文件的海量点云数据快速读取方法>,文中介绍的方法能够极大地提升点云读取速率,这为我们读取数以千万的点云数据提供了方法. 通常情况下,在C++中读文件,使 ...
数据库数据快速插入的方法
问题: 需要在mysql中造大量的数据. 方式: 一.insert 一条一条插入数据到数据库中. 不适合大量数据的插入. 二.LOAD DATA INFILE 方案三.extend insert语句 ...
PLSQL如何将千万数据快速插入到另一张表中_数据库设计中的 9 大常见错误
作为数据库设计人员,当我们负责数据库项目时,在数据库设计以及把数据库部署到生产环境的过程中可能会遇到一些挑战. 其中一些问题不可避免,也无法控制.但是,其中相当一部分可以追溯到数据库设计本身的质量.我 ...
oracle 如何添加数据文件,Oracle教程误添加数据文件删除方法
如果是在Oracle10g之前,删除一个表空间中的数据文件后,其文件在数据库数据字典中会仍然存在,除非你删除表空间,否则文件信息不会清除. 但是从Oracle10gR2开始,Oracle允许我们彻底删 ...
Mysql5.7, 千万数据快速插入解决方案（ JDBC方式，百秒搞定！！！）
最近在弄一件任务,要求测试一下从文本中读取数据,然后向mysql表中插入.要求用JDBC线程导入.要求效率. 环境说明: 数据量 : 10058624条 (大约一千零6万条数据,本地机器运行) 数据 ...
【DB笔试面试594】在Oracle中，关键字NOLOGGING、APPEND和PARALLEL提高DML性能方面有什么差别？...
♣题目部分在Oracle中,关键字NOLOGGING.APPEND和PARALLEL提高DML性能方面有什么差别? ♣答案部分众所周知,表模式(LOGGING/NOLOGGING).插入模式(AP ...
MySQL快速插入亿级数据
MySQL快速插入亿级数据前言通常我们会有这样的需求:构造数据,大批量插入数据库,以供后续处理.如果是几万几十万的数据那还好说,但如果是上千万上亿的数据,那么我们对速度的追求就更加迫切. 这里我们 ...

oracle append parallel,大量数据快速插入方法探究[nologging+parallel+append]

oracle append parallel,大量数据快速插入方法探究[nologging+parallel+append]相关推荐

最新文章

热门文章