SQL*LOADER是ORACLE的数据加载工具,通常用来将操作系统文件迁移到ORACLE数据库中。SQL*LOADER是大型数据仓库选择使用的加载方法,因为它提供了最快速的途径(DIRECT,PARALLEL)。现在,我们抛开其理论不谈,用实例来使您快速掌握SQL*LOADER的使用方法。

首先,我们认识一下SQL*LOADER。

在NT下,SQL*LOADER的命令为SQLLDR,在UNIX下一般为sqlldr/sqlload。  如执行:d:\oracle>sqlldr

SQL*Loader: Release 8.1.6.0.0 - Production on 星期二 1月 8 11:06:42 2002

(c) Copyright 1999 Oracle Corporation.   All rights reserved.

用法: SQLLOAD 关键字 = 值 [,keyword=value,...]

有效的关键字:

userid -- ORACLE username/password

control -- Control file name(控制文件)

log -- Log file name(记录的日志文件)

bad -- Bad file name(坏数据文件)

data -- Data file name(数据文件)

discard -- Discard file name(丢弃的数据文件)

discardmax -- Number of discards to allow(允许丢弃数据的最大值)  (全部默认)

skip -- Number of logical records to skip   (默认0)

load -- Number of logical records to load   (全部默认)

errors -- Number of errors to allow(允许的错误记录数)(默认50)

rows -- Number of rows in conventional path bind array or between direct path data saves

(每次提交的记录数,默认: 常规路径 64, 所有直接路径)

bindsize -- Size of conventional path bind array in bytes(默认65536)

(每次提交记录的缓冲区的大小(字节为单位,默认256000))

silent -- Suppress messages during run (header,feedback,errors,discards,partitions)(禁止输出信息)

direct -- use direct path (使用直通路径方式导入)                    (默认FALSE)

parfile -- parameter file: name of file that contains parameter specifications

parallel -- do parallel load   (并行导入)                 (默认FALSE)

file -- File to allocate extents from

(与bindsize成对使用,其中较小者会自动调整到较大者sqlldr先计算单条记录长度,乘以rows,如小bindsize     不           会rows以填充bindsize;如超出,则以bindsize为准。)

skip_unusable_indexes -- disallow/allow unusable indexes or index partitions(默认FALSE)

skip_index_maintenance -- do not maintain indexes, mark affected indexes as unusable(默认FALSE)

commit_discontinued -- commit loaded rows when load is discontinued(默认FALSE)

readsize -- Size of Read buffer                 (默认1048576)

PLEASE NOTE: 命令行参数可以由位置或关键字指定。

前者的例子是 'sqlload scott/tiger foo';后者的例子是 'sqlload control=foo userid=scott/tiger'.位置指定参数的时间必须早于但不可迟于由关键字指定的参数。例如,

'SQLLOAD SCott/tiger control=foo logfile=log', 但'不允许 sqlload scott/tiger control=foo log',即使允许

参数 'log' 的位置正确。

d:\oracle>

我们可以从中看到一些基本的帮助信息,这里,我用到的是中文的WIN2000 ADV SERVER。

我们知道,SQL*LOADER只能导入纯文本,所以我们现在开始以实例来讲解其用法。

一、已存在数据源result.csv,欲倒入ORACLE中FANCY用户下。    result.csv内容:

1,默认 Web 站点,192.168.2.254:80:,RUNNING

2,other,192.168.2.254:80:test.com,STOPPED

3,third,192.168.2.254:81:thirdabc.com,RUNNING

从中,我们看出4列,分别以逗号分隔,为变长字符串。

二、制定控制文件result.ctl

命令

说明

load data ..........    控制文件标识

infile 'model.txt' ............  要输入的数据文件名为test.txt

append into table system.表名 ............ 向表test中追加记录

fields terminated by X'09'   .......        指定分隔符,字段终止于X'09',是一个制表符(TAB)

(编号,名称,大小)  ......... 定义列对应表中顺序

如下实例 result.ctl内容:

load data

infile 'result.csv'

into table resultxt

fields terminated by ','

TRAILING   NULLCOLS..........表示如表的字段没有对应的值时允许为空。

(resultid POSITION(1:8),

website ,

ipport char terminated by ',',

status char terminated by whitespace)

说明:

infile 指数据源文件 这里我们省略了默认的 discardfile result.dsc   badfile   result.bad

into table resultxt 默认是INSERT,也可以into table resultxt APPEND为追加方式,或REPLACE

terminated by ',' 指用逗号分隔

terminated by whitespace 结尾以空白分隔

控制文件中指定插入数据的方式关键字

l         insert,为缺省方式,在数据装载开始时要求表为空

l         append,在表中追加新记录

l         replace,删除旧记录,替换成新装载的记录

l         truncate,同上

position(m:n)表示该字段是从位置m到位置n。

三、此时我们执行加载:                D:\>sqlldr userid=fancy/testpass control=result.ctl log=resulthis.out

SQL*Loader: Release 8.1.6.0.0 - Production on 星期二 1月 8 10:25:42 2002

(c) Copyright 1999 Oracle Corporation.   All rights reserved.

SQL*Loader-941:   在描述表RESULTXT时出现错误

ORA-04043: 对象 RESULTXT 不存在

提示出错,因为数据库没有对应的表。

四、在数据库建立表             create table resultxt

(resultid varchar2(500),

website varchar2(500),

ipport varchar2(500),

status varchar2(500))

五、重新执行加载

D:\>sqlldr userid=fancy/k1i7l6l8 control=result.ctl log=resulthis.out               SQL*Loader: Release 8.1.6.0.0 - Production on 星期二 1月 8 10:31:57 2002

(c) Copyright 1999 Oracle Corporation.   All rights reserved.

达到提交点,逻辑记录计数2

达到提交点,逻辑记录计数3

已经成功!我们可以通过日志文件来分析其过程:resulthis.out内容如下:

SQL*Loader: Release 8.1.6.0.0 - Production on 星期二 1月 8 10:31:57 2002

(c) Copyright 1999 Oracle Corporation.   All rights reserved.

控制文件: result.ctl

数据文件: result.csv

错误文件: result.bad

废弃文件: 未作指定(可废弃所有记录)

装载数: ALL

跳过数: 0

允许的错误: 50

绑定数组: 64 行,最大 65536 字节

继续:     未作指定

所用路径:        常规

表RESULTXT

已载入从每个逻辑记录

插入选项对此表INSERT生效

列名                         位置       长度   中止 包装数据类型

------------------------------ ---------- ----- ---- ---- ---------------------

RESULTID                             FIRST      *     ,       CHARACTER

WEBSITE                               NEXT      *     ,       CHARACTER

IPPORT                                NEXT      *     ,       CHARACTER

STATUS                                NEXT      *   WHT       CHARACTER

表RESULTXT:

3 行载入成功

由于数据错误, 0 行没有载入。

由于所有 WHEN 子句失败, 0 行没有载入。

由于所有字段都为空的, 0 行没有载入。

为结合数组分配的空间:     65016字节(63行)

除绑定数组外的内存空间分配:          0字节

跳过的逻辑记录总数:         0

读取的逻辑记录总数:         3

拒绝的逻辑记录总数:         0

废弃的逻辑记录总数:         0

从星期二 1月   08 10:31:57 2002开始运行

在星期二 1月   08 10:32:00 2002处运行结束

经过时间为: 00: 00: 02.70

CPU 时间为: 00: 00: 00.10(可

六、并发操作

sqlldr userid=/ control=result1.ctl direct=true parallel=true

sqlldr userid=/ control=result2.ctl direct=true parallel=true

sqlldr userid=/ control=result3.ctl direct=true parallel=true

当加载大量数据时(大约超过10GB),最好抑制日志的产生:

SQL>ALTER TABLE RESULTXT nologging;     这样不产生REDOLOG,可以提高效率。然后在CONTROL文件中load data上面加一行:unrecoverable

此选项必须要与DIRECT共同应用。

在并发操作时,ORACLE声称可以达到每小时处理100GB数据的能力!其实,估计能到1-10G就算不错了,开始可用结构相同的文件,但只有少量数据,成功后开始加载大量数据,这样可以避免时间的浪费。

python调用sqlldr_sqlldr用法相关推荐

  1. python调用sqlldr_sqlldr导入数据

    先编写一个控制文件control1.ctl 内容如下: load data infile 'place.csv' append into table kel.place fields terminat ...

  2. python os system用法_Python调用系统命令os.system()和os.popen()的实现

    作为一门脚本语言,写脚本时执行系统命令可以说很常见了,python提供了相关的模块和方法. os模块提供了访问操作系统服务的功能,由于涉及到操作系统,它包含的内容比较多,这里只说system和pope ...

  3. python的继承用法_【后端开发】python中继承有什么用法?python继承的用法详解

    本篇文章给大家带来的内容是关于python中继承有什么用法?python继承的用法详解,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. 面向对象三大特征 1.封装:根据职责将属性和方法 ...

  4. 从Python调用外部命令

    您如何在Python脚本中调用外部命令(就像我在Unix Shell或Windows命令提示符下键入的一样)? #1楼 os.system不允许您存储结果,因此,如果您要将结果存储在某个列表中或sub ...

  5. 如何使用python批量下载-用Python调用迅雷实现后台批量下载

    迅雷9.10实测可用,老版本迅雷应该也可以用,不推荐迅雷极速版 写在前面 最近在学习python的网络爬虫,想要爬取某个网站上的上百万条链接,批量下载链接所指向的图片.文档.视频等内容.大部分的小文件 ...

  6. python装饰器实例-Python装饰器用法实例总结

    本文实例讲述了Python装饰器用法.分享给大家供大家参考,具体如下: 一.装饰器是什么 python的装饰器本质上是一个Python函数,它可以让其他函数在不需要做任何代码变动的前提下增加额外功能, ...

  7. python所有函数用法_Python函数使用方法(高级用法)

    前面章节,已经介绍了 Python 函数的所有基本用法和使用注意事项.但是,Python 函数的用法还远不止此,Python 函数还支持赋值.作为其他函数的参数以及作为其他函数的返回值. 首先,Pyt ...

  8. python的property用法_python @property的用法及含义全面解析

    在接触python时最开始接触的代码,取长方形的长和宽,定义一个长方形类,然后设置长方形的长宽属性,通过实例化的方式调用长和宽,像如下代码一样. class Rectangle(object): de ...

  9. python竞赛_浅谈Python在信息学竞赛中的运用及Python的基本用法

    浅谈Python在信息学竞赛中的运用及Python的基本用法 前言 众所周知,Python是一种非常实用的语言.但是由于其运算时的低效和解释型编译,在信息学竞赛中并不用于完成算法程序.但正如LRJ在& ...

  10. python调用系统命令_Python如何调用外部系统命令

    前言 利用Python调用外部系统命令的方法可以提高编码效率.调用外部系统命令完成后可以通过获取命令执行返回结果码.执行的输出结果进行进一步的处理.本文主要描述Python常见的调用外部系统命令的方法 ...

最新文章

  1. 一维码Code 93简介及其解码实现(zxing-cpp)
  2. resin php,resin竟然开始支持PHP
  3. oracle anbob,Tag Archives: oracle安装 | ANBOB
  4. 【2019雅礼集训】【CF 960G】【第一类斯特林数】【NTT多项式】permutation
  5. 【实验】广域网点到点协议PPP PAP CHAP的双向验证、单项认证
  6. 巧用定时任务监控第三方组件是否正常
  7. 【C++ Priemr | 15】派生类向基类转换的可访问性
  8. 【LeetCode笔记】538. 把二叉搜索树转换为累加树(Java、二叉搜索树、递归)
  9. 今天的离离原上草的飞鸽传书
  10. Intel Core Enhanced Core架构/微架构/流水线 (1) - 特性概述
  11. Oracle 安装报错 [INS-06101] IP address of localhost could not be determined 解决方法[转]
  12. 通过深度优先搜索(DFS)对图的边进行分类
  13. Spring整合activityMq
  14. 百度地图api初次申请及简单应用
  15. 计算机技术产生的就业辩论,计算机与软件技术系辩论赛决赛
  16. 免费、无版权约束、可商用的优质图片素材网站合集
  17. 华为手机怎么导入主题_华为手机怎么安装主题?华为EMUI3.0-EMUI8.0主题安装教程...
  18. UY_ELI, EL社区app
  19. 飞浆AI studio人工智能课程学习(2)-Prompt优化思路|十个技巧高效优化Prompt|迭代法|Trick法|通用法|工具辅助
  20. java获取剩余手机电池容量_怎样判断手机电池的剩余容量

热门文章

  1. d盘不能扩展卷_点读笔小档案:小达人、毛毛虫、卡米、卷之友、外研通...傻傻分不清?...
  2. 从山寨机看手机的未来
  3. Android Studio开发环境的搭建与hello world项目的构建
  4. js实现抽饭系统(类似抽检系统)双按钮控制系统
  5. c语言595驱动数码管,74hc595驱动数码管程序
  6. 超级记忆/图像数字记忆 110位数字图像转换表 31-40
  7. C程序设计试题汇编(第三版)谭浩强主编 第二章 选择题解析+总结
  8. 践行快乐音乐教育 郎朗The ONE全球公益钢琴盛典传递音乐力量!
  9. QA | 关于手持式频谱仪,您想了解的那些技术问题(一)
  10. XP高仿win7宽栏风格主题