Oracle SQL Loader的详细语法
转载 http://www.cnblogs.com/binking/archive/2006/11/21/567587.html
SQL*LOADER是ORACLE的数据加载工具,通常用来将操作系统文件迁移到ORACLE数据库中。SQL*LOADER是大型数据
仓库选择使用的加载方法,因为它提供了最快速的途径(DIRECT,PARALLEL)。现在,我们抛开其理论不谈,用实例来使您快速掌握SQL*LOADER的使用方法。
首先,我们认识一下SQL*LOADER。
在NT下,SQL*LOADER的命令为SQLLDR,在UNIX下一般为sqlldr/sqlload。
如执行:d:\oracle>sqlldr
SQL*Loader: Release 8.1.6.0.0 - Production on 星期二1月8 11:06:42 2002
(c) Copyright 1999 Oracle Corporation. All rights reserved.
用法: SQLLOAD 关键字= 值[,keyword=value,...]
有效的关键字:
userid -- ORACLE username/password
control -- Control file name
log -- Log file name
bad -- Bad file name
data -- Data file name
discard -- Discard file name
discardmax -- Number of discards to allow (全部默认)
skip -- Number of logical records to skip (默认0)
load -- Number of logical records to load (全部默认)
errors -- Number of errors to allow (默认50)
rows -- Number of rows in conventional path bind array or between direct path data saves
(默认: 常规路径64, 所有直接路径)
bindsize -- Size of conventional path bind array in bytes(默认65536)
silent -- Suppress messages during run (header,feedback,errors,discards,partitions)
direct -- use direct path (默认FALSE)
parfile -- parameter file: name of file that contains parameter specifications
parallel -- do parallel load (默认FALSE)
file -- File to allocate extents from
skip_unusable_indexes -- disallow/allow unusable indexes or index partitions(默认FALSE)
skip_index_maintenance -- do not maintain indexes, mark affected indexes as unusable(默认FALSE)
commit_discontinued -- commit loaded rows when load is discontinued(默认FALSE)
readsize -- Size of Read buffer (默认1048576)
PLEASE NOTE: 命令行参数可以由位置或关键字指定
。前者的例子是'sqlload scott/tiger foo';后者的例子是'sqlload control=foo userid=scott/tiger'.位置指定参数的时间必须早于但不可迟于由关键字指定的参数。例如,
'SQLLOAD SCott/tiger control=foo logfile=log', 但'不允许
d:\oracle>
我们可以从中看到一些基本的帮助信息,这里,我用到的是中文的WIN2000ADVSERVER。
我们知道,SQL*LOADER只能导入纯文本,所以我们现在开始以实例来讲解其用法。
一、已存在数据源result.csv,欲倒入ORACLE中FANCY用户下。
result.csv内容:
1,默认Web 站点,192.168.2.254:80:,RUNNING
2,other,192.168.2.254:80:test.com,STOPPED
3,third,192.168.2.254:81:thirdabc.com,RUNNING
从中,我们看出4列,分别以逗号分隔,为变长字符串。
二、制定控制文件result.ctl
result.ctl内容:
load data
infile 'result.csv'
into table resultxt
(resultid char terminated by ',',
website char terminated by ',',
ipport char terminated by ',',
status char terminated by whitespace)
说明:
infile指数据源文件 这里我们省略了默认的 discardfile result.dsc badfile result.bad
into table resultxt 默认是INSERT,也可以into table resultxt APPEND为追加方式,或REPLACE
terminated by ','指用逗号分隔
terminated by whitespace结尾以空白分隔
三、此时我们执行加载:
D:\>sqlldr userid=fancy/testpass control=result.ctl log=resulthis.out
SQL*Loader: Release 8.1.6.0.0 - Production on 星期二1月8 10:25:42 2002
(c) Copyright 1999 Oracle Corporation. All rights reserved.
SQL*Loader-941: 在描述表RESULTXT时出现错误
ORA-04043: 对象RESULTXT 不存在
提示出错,因为数据库没有对应的表。
四、在数据库建立表
create table resultxt
(resultid varchar2(500),
website varchar2(500),
ipport varchar2(500),
status varchar2(500))
/
五、重新执行加载
D:\>sqlldr userid=fancy/k1i7l6l8 control=result.ctl log=resulthis.out
SQL*Loader: Release 8.1.6.0.0 - Production on 星期二1月8 10:31:57 2002
(c) Copyright 1999 Oracle Corporation. All rights reserved.
达到提交点,逻辑记录计数2
达到提交点,逻辑记录计数3
已经成功!我们可以通过日志文件来分析其过程:resulthis.out内容如下:
SQL*Loader: Release 8.1.6.0.0 - Production on 星期二1月8 10:31:57 2002
(c) Copyright 1999 Oracle Corporation. All rights reserved.
控制文件: result.ctl
数据文件: result.csv
错误文件: result.bad
废弃文件: 未作指定
:
(可废弃所有记录)
装载数: ALL
跳过数: 0
允许的错误: 50
绑定数组: 64 行,最大65536 字节
继续: 未作指定
所用路径: 常规
表RESULTXT
已载入从每个逻辑记录
插入选项对此表INSERT生效
列名位置长度中止包装数据类型
------------------------------ ---------- ----- ---- ---- ---------------------
RESULTID FIRST * , CHARACTER
WEBSITE NEXT * , CHARACTER
IPPORT NEXT * , CHARACTER
STATUS NEXT * WHT CHARACTER
表RESULTXT:
3 行载入成功
由于数据错误, 0 行没有载入。
由于所有WHEN 子句失败, 0 行没有载入。
由于所有字段都为空的, 0 行没有载入。
为结合数组分配的空间: 65016字节(63行)
除绑定数组外的内存空间分配: 0字节
跳过的逻辑记录总数: 0
读取的逻辑记录总数: 3
拒绝的逻辑记录总数: 0
废弃的逻辑记录总数: 0
从星期二1月08 10:31:57 2002开始运行
在星期二1月08 10:32:00 2002处运行结束
经过时间为: 00: 00: 02.70
CPU 时间为: 00: 00: 00.10(可
六、并发操作
sqlldr userid=/ control=result1.ctl direct=true parallel=true
sqlldr userid=/ control=result2.ctl direct=true parallel=true
sqlldr userid=/ control=result2.ctl direct=true parallel=true
当加载大量数据时(大约超过10GB),最好抑制日志的产生:
SQL>ALTER TABLE RESULTXT nologging;
这样不产生REDOLOG,可以提高效率。然后在CONTROL文件中load data上面加一行:unrecoverable 此选项必须要与DIRECT共同应用。
在并发操作时,ORACLE声称可以达到每小时处理100GB数据的能力!其实,估计能到1-10G就算不错了,开始可用结构 相同的文件,但只有少量数据,成功后开始加载大量数据,这样可以避免时间的浪费。
有关SQLLDR的问题
控制文件:input.ctl,内容如下:
load data--1、控制文件标识
infile 'test.txt'--2、要输入的数据文件名为test.txt
append into table test--3、向表test中追加记录
fields terminated by X'09'--4、字段终止于X'09',是一个制表符(TAB)
(id,username,password,sj)-----定义列对应顺序
其中append为数据装载方式,还有其他选项:
a、insert,为缺省方式,在数据装载开始时要求表为空
b、append,在表中追加新记录
c、replace,删除旧记录,替换成新装载的记录
d、truncate,同上
FilePath = s_aFilePath.Trim("\")
Dim ctlPath As String = FilePath + "\control"
s_aErrMsg = ""
Try
For i As Integer = 1 To 4
Dim strmReader As New StreamReader(ctlPath + "\001" + i.ToString() + ".ctl")
Dim ctlContent As String = strmReader.ReadToEnd()
ctlContent = ctlContent.Replace("{{dataFile}}", o_afileName.Item(i.ToString))
strmReader.Close()
strmReader = Nothing
Dim strCtlName As String = ctlPath + "\001" + i.ToString() + "new.ctl"
Dim strLogName As String = ctlPath + "\001" + i.ToString() + "new.log"
Dim strBadName As String = ctlPath + "\001" + i.ToString() + "new.bad"
Dim strDscName As String = ctlPath + "\001" + i.ToString() + "new.dsc"
Dim strmWriter As StreamWriter = File.CreateText(strCtlName)
strmWriter.Write(ctlContent)
strmWriter.Close()
strmWriter = Nothing
File.Delete(strBadName)
End If
Dim serviceName As String = CType(connSetting.GetValue(0), String)
serviceName = serviceName.Substring(serviceName.IndexOf("=") + 1)
Dim userId As String = CType(connSetting.GetValue(1), String)
userId = userId.Substring(userId.IndexOf("=") + 1)
Dim password As String = CType(connSetting.GetValue(2), String)
password = password.Substring(password.IndexOf("=") + 1)
strPathName = "sqlldr " + userId + "/" + password + "@" + serviceName + " control='" + strCtlName + "' log='" + strLogName + "' bad='" + strBadName + "' discard='" + strDscName + "' errors=500"
Microsoft.VisualBasic.Shell(strPathName, AppWinStyle.MinimizedFocus, True)
File.Copy(strBadName, FilePath + "\BatchLog\ERROR_001" + i.ToString() + ".txt", True)
a_sErrMsg += "这里写抛出的警告信息" + vbCrLf + vbTab
End If
Next
Return True
Catch ex As Exception
a_sErrMsg += ex.ToString()
ms_BatchLogMsg = ex.Message
Return False
End Try
End Function
使用Oracle的sqlldr工具来将SDSS.CSV文件中的数据导入数据库。
SDSS.CSV 放置于 E:\ 内容如下:
2.3757291096910399E-4,-8.9490277843631194,20.302597,
0.00023851549291556,-0.88450365314434698,20.098101,
2.5168890447969299E-4,7.7169029946908094E-2,18.762859,
2.9486118387225802E-4,-9.8447540892170409,19.943598,
2.94865362739442E-4,-9.8447540642891909,19.944597,
操作步骤:
1、在Oracle中按照导入数据的格式建立一个空表
类型 大小 小数
RA Number 23 20
DEC Number 23 20
MAG Number 8 6
2、编写一个loader.ctl文件,内容如下
load data
infile 'E:\SDSS.csv'
into table SDSS_STARS
fields terminated by ","
( RA, DEC, MAG )
3、在CMD中执行以下语句:
sqlldr scott/tiger control=loader.ctl
4、自动在当前目录下生成两个文件
默认日志文件名为:loader.log
默认坏记录文件为:SDSS.bad
注意事项:
1、必须在服务器本机上操作,不能在只安装Oracle客户端的机器上使用。
2、CSV文件的内容是以“,“分隔的,如果数据在结尾没有逗号导入时就会出错。
可以利用UltraEdit等文本编辑器处理一下,将 ^p 替换为 ,^p 就可以在每行的末尾加上一个逗号了。
3、数据导入需要较长的时间。
Oracle SQL Loader的详细语法相关推荐
- Oracle SQL Loader的详细语法
Oracle SQL Loader的详细语法 SQL*LOADER是ORACLE的数据加载工具,通常用来将操作系统文件迁移到ORACLE数据库中.SQL*LOADER是大型数据 仓库选择使用的 ...
- [Oracle] SQL*Loader 详细使用教程(3)- 控制文件
控制文件是SQL*Loader里最重要的文件,它是一个文本文件,用来定义数据文件的位置.数据的格式.以及配置数据加载过程的行为,在sqlldr中以control参数指定控制文件. 在控制文件里配置 ...
- Oracle SQL Loader数据导入
1.SQL LOADER是ORACLE的数据加载工具,通常用来将操作系统文件迁移到ORACLE数据库中.SQL*LOADER是大型数据仓库选择使用的加载方法,因为它提供了最快速的途径(DIRECT,P ...
- 学习Oracle SQL loader 的使用
sql loader使用例子 a)SQLLoader将 Excel 数据导出到 Oracle 1.创建SQL*Loader输入数据所需要的文件,均保存到C:\,用记事本编辑: 控制文件:input.c ...
- oracle中loder,Oracle Sql Loader的学习使用
最近由于遇到oracle控制文件的使用,虽然不是很复杂,但是从来没有用过,专门花点时间看看.点击 1,概述: Sql Loader: 一个批量工具,将文件数据导入到数据库.可以导入一个表或者多个表,甚 ...
- oracle sqlload速度加快,oracle,sql loader 及 快速生成大量数据 CSV文件sqlldr
要测试sql loader 以及快速产生大量测试数据 生成大量测试数据思路. 一,用plsql developer 生成csv 文件 二,用>>输出重定向,追加到一个cvs 文件里. 三, ...
- oracle之数据同步:Oracle Sql Loader使用说明(大批量快速插入数据库记录)
1.准备表数据 select * from emp10;create sequence seq_eseq increment by 1 start with 1001 maxvalue 9999999 ...
- Oracle SQL Loader切身实例
1.建立可执行文件:input.bat 内容为:sqlldr userid= dsa_test/dsa_test@dsa_test bindsize=5120000 readsize=9999999 ...
- SQL*Loader 详解
在 Oracle 数据库中,我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法: 1. A 表的记录导出为一条条分号隔开的 insert 语句,然后执行插入到 B 表中 2. 建立数据库间 ...
最新文章
- TensorFlow XLA加速编译器
- wasm逆向——(极客大挑战2021wasm
- java 条件 等待_java – 如何唤醒等待相同条件的所有线程?
- tensorflow 里metrics_深入理解TensorFlow中的tf.metrics算子
- java 定义方法_java如何定义方法
- java递归查询无限极分类_sqlserver实现树形结构递归查询(无限极分类)的方法
- python和数据库_python与数据库操作
- com.google.common.collect.Range 集合计算
- 优秀程序员必学的开发工具教程!
- Maven的核心概念
- java set的作用,Java的自学之路-构造方法 的作用以及与set方法的区别
- 《精通正则表达式》笔记 --- 选择引号内的文字
- windows10下搭建spark平台
- 基于Tomcat + JNDI + ActiveMQ实现JMS的点对点消息传送
- 检索 COM 类工厂中 CLSID 为 {000209FF-0000-0000-C000-000000000046} 的组件时失败,原因是出现以下错误: 8000401a
- CDH初始化scm_prepare_database.sh数据库遇到的问题
- 计算机视觉与机器视觉的区别和联系
- 【英语学习】【医学】20种氨基酸的中英文名称与词源
- C++17尝鲜:fold expression(折叠表达式)
- kubectl源码分析之rollout history
热门文章
- 集群监控之Ganglia的部署
- linux查看目录下文件个球,球服务翻译……只找到以前版本的。新版的服务名称改了……...
- linux raid autodetect,软raid的建立
- 目标检测如何计算召回率_计算机视觉目标检测的框架与过程
- html百分比代码怎么写,参考Bootstrap写的一个带百分比的进度条(附源码)
- python history文件_【python之路19】文件操作
- 有关java的名句_关于志气的名言名句(精选50句)
- python编写网页游戏脚本_[大数据]用Python脚本做一些网页游戏中力所能及的自动化任务 - 码姐姐找文...
- C++ 通讯录设计(七)
- 【收藏】需求文档(PRD)终极撰写指南