Oracle-SQLLDR加载TPC-DS数据

一、测试环境

名称	描述
操作系统	Red Hat Enterprise Linux Server release 7.9 (Maipo)
oracle版本	Release 11.2.0.1.0 - Production
TPC-DS工具版本	V3.2.0

二、安装TPC-DS
（1）TPC-DS工具下载地址
1、TPC-DS工具官方下载地址
2、百度云盘链接

链接：https://pan.baidu.com/s/1dkfoDX_D1p4dAQkWKcPoqA
提取码：ucah

（2）解压工具包，进入到DSGen-software-code-3.2.0rc1/tools目录。

（3）执行make命令。

三、生成测试数据
（1）创建数据文件目录/opt/tpcds_data。

（2）生成测试数据命令：

./dsdgen -sc 1 -dir /opt/tpcds_data -TERMINATE N

参数介绍：

General Options
===============
ABREVIATION =  <s>       -- build table with abreviation <s>
DIR =  <s>               -- generate tables in directory <s>
HELP =  <n>              -- display this message
PARAMS =  <s>            -- read parameters from file <s>
QUIET =  [Y|N]           -- disable all output to stdout/stderr
SCALE =  <n>             -- volume of data to generate in GB
TABLE =  <s>             -- build only table <s>
UPDATE =  <n>            -- generate update data set <n>
VERBOSE =  [Y|N]         -- enable verbose output
PARALLEL =  <n>          -- build data in <n> separate chunks
CHILD =  <n>             -- generate <n>th chunk of the parallelized data
RELEASE =  [Y|N]         -- display the release information
_FILTER =  [Y|N]         -- output data to stdout
VALIDATE =  [Y|N]        -- produce rows for data validationAdvanced Options
===============
DELIMITER =  <s>         -- use <s> as output field separator
DISTRIBUTIONS =  <s>     -- read distributions from file <s>
FORCE =  [Y|N]           -- over-write data files without prompting
SUFFIX =  <s>            -- use <s> as output file suffix
TERMINATE =  [Y|N]       -- end each record with a field delimiter
VCOUNT =  <n>            -- set number of validation rows to be produced
VSUFFIX =  <s>           -- set file suffix for data validation
RNGSEED =  <n>           -- set RNG seed

（3）查看/opt/tpcds_data下是否生成数据文件

-rwxrwxrwx 1 root root      1885 Apr  8 11:27 call_center.dat
-rwxrwxrwx 1 root root   1620074 Apr  8 11:27 catalog_page.dat
-rwxrwxrwx 1 root root  21234304 Apr  8 11:27 catalog_returns.dat
-rwxrwxrwx 1 root root 294468836 Apr  8 11:27 catalog_sales.dat
-rwxrwxrwx 1 root root   5452165 Apr  8 11:27 customer_address.dat
-rwxrwxrwx 1 root root  13109372 Apr  8 11:27 customer.dat
-rwxrwxrwx 1 root root  78739296 Apr  8 11:28 customer_demographics.dat
-rwxrwxrwx 1 root root  10244389 Apr  8 11:28 date_dim.dat
-rwxrwxrwx 1 root root        64 Apr  8 11:29 dbgen_version.dat
-rwxrwxrwx 1 root root    144453 Apr  8 11:28 household_demographics.dat
-rwxrwxrwx 1 root root       308 Apr  8 11:28 income_band.dat
-rwxrwxrwx 1 root root 224675139 Apr  8 11:28 inventory.dat
-rwxrwxrwx 1 root root   5033899 Apr  8 11:28 item.dat
-rwxrwxrwx 1 root root     36933 Apr  8 11:28 promotion.dat
-rwxrwxrwx 1 root root      1304 Apr  8 11:28 reason.dat
-rwxrwxrwx 1 root root      1093 Apr  8 11:28 ship_mode.dat
-rwxrwxrwx 1 root root      3143 Apr  8 11:28 store.dat
-rwxrwxrwx 1 root root  32422491 Apr  8 11:28 store_returns.dat
-rwxrwxrwx 1 root root 385565005 Apr  8 11:28 store_sales.dat
-rwxrwxrwx 1 root root   5021380 Apr  8 11:29 time_dim.dat
-rwxrwxrwx 1 root root       580 Apr  8 11:29 warehouse.dat
-rwxrwxrwx 1 root root      5716 Apr  8 11:29 web_page.dat
-rwxrwxrwx 1 root root   9734473 Apr  8 11:29 web_returns.dat
-rwxrwxrwx 1 root root 146158290 Apr  8 11:29 web_sales.dat
-rwxrwxrwx 1 root root      8741 Apr  8 15:28 web_site.dat

三、Oracle创建TPC-DS相关表

sqlplus czg/123456789 @/opt/DSGen-software-code-3.2.0rc1/tools/tpcds.sql

四、SQLLDR装载数据

由于数据表较多我们这里只演示web_site表的数据装载。

（1）编辑控制文件web_site.ctl

load data
infile '/opt/tpcds_data/web_site.dat'
INTO TABLE web_site
truncate
fields terminated by "|"
optionally enclosed by '"'
trailing nullcols
(WEB_SITE_SK,WEB_SITE_ID,WEB_REC_START_DATE "to_date(:WEB_REC_START_DATE,'YYYY-MM-DD')",WEB_REC_END_DATE "to_date(:WEB_REC_START_DATE,'YYYY-MM-DD')",WEB_NAME,WEB_OPEN_DATE_SK,WEB_CLOSE_DATE_SK,WEB_CLASS,WEB_MANAGER,WEB_MKT_ID,WEB_MKT_CLASS,WEB_MKT_DESC,WEB_MARKET_MANAGER,WEB_COMPANY_ID,WEB_COMPANY_NAME,WEB_STREET_NUMBER,WEB_STREET_NAME,WEB_STREET_TYPE,WEB_SUITE_NUMBER,WEB_CITY,WEB_COUNTY,WEB_STATE,WEB_ZIP,WEB_COUNTRY,WEB_GMT_OFFSET,WEB_TAX_PERCENTAGE)

（2）SQLLDR数据加载

[oracle@localhost ctl]$ sqlldr userid=czg/123456789 control=/home/oracle/ctl/web_site.ctl bad=/home/oracle/bad_file/bad.txt log=/home/oracle/log_file/log.txtSQL*Loader: Release 11.2.0.1.0 - Production on Fri Apr 8 15:29:37 2022Copyright (c) 1982, 2009, Oracle and/or its affiliates.  All rights reserved.Commit point reached - logical record count 30

（3）查看数据是否装载成功

SQL> select count(*) from web_site;                  COUNT(*)
----------30

Oracle-SQLLDR加载TPC-DS数据相关推荐

ORACLE数据加载加本,使用oracle sqlldr加载数据
oracle sqlldr 实验 tab 分隔处理,空格分隔处理,逗号分隔处理日期列处理截断处理包含双引号处理列为空处理 1.数据文件data.txt 2012-01-01 10:01:01. ...
oracle批量加载,Oracle教程：使用SQL*Loader高速批量数据加载工具
Oracle教程:使用SQL*Loader高速批量数据加载工具 1.控制文件中包含要加载的数据首先创建一张测试表然后创建一个控制文件(其中包含被加载的数据) 然后在命令行执行加载查看dept表 ...
Tensorflow2.* 加载和预处理数据之用 tf.data 加载磁盘图片数据(4)
Tensorflow2.* 机器学习基础知识篇: 对服装图像进行分类使用Tensorflow Hub对未处理的电影评论数据集IMDB进行分类 Keras 机器学习基础知识之对预处理的电影评论文本分类 ...
使用Vant框架的组件van-pull-refresh搭配van-list和van-card完成上滑加载更多列表数据，下拉刷新当前列表数据（等同于翻页功能）
<template><div class="sg-page-body"><div class="sg-list"><v ...
R语言广义加性模型（GAMs：Generalized Additive Model）建模：数据加载、划分数据、并分别构建线性回归模型和广义线性加性模型GAMs、并比较线性模型和GAMs模型的性能
R语言广义加性模型(GAMs:Generalized Additive Model)建模:数据加载.划分数据.并分别构建线性回归模型和广义线性加性模型GAMs.并比较线性模型和GAMs模型的性能目录
bootstraptable 加载完成_bootstrap table onLoadSuccess加载服务端数据成功事件
bootstrap table onLoadSuccess加载服务端数据成功事件 bootstrap table onLoadSuccess加载服务端数据成功的事件,该事件的作用是什么呢?服务端返回自 ...
Qt Creator加载占位符数据
Qt Creator加载占位符数据加载占位符数据使用虚拟模型创建虚拟上下文加载占位符数据设计模式支持视图,模型和委托,因此,当您添加网格视图,列表视图或路径视图项时,将自动添加ListMod ...
mvvm 耗时加载进度条_ZK的实际应用：MVVM –加载和渲染数据
mvvm 耗时加载进度条先前的文章简要介绍了RIA框架ZK,以及其CSS Selector启发的控制器机制如何通过使在控制器类中引用UI组件的任务变得相对灵活来减轻UI更改所带来的一些负担. 然后, ...
ZK的实际应用：MVVM –加载和渲染数据
先前的文章简要介绍了RIA框架ZK,以及它CSS Selector启发式控制器机制如何通过使在控制器类中引用UI组件的任务变得相对灵活来减轻UI更改所带来的一些负担. 然后,我们在上一篇文章中探讨了Z ...
PHP+Ajax点击加载更多列表数据实例
PHP+Ajax点击加载更多列表数据实例一款简单实用的PHP+Ajax点击加载更多列表数据实例,实现原理:通过"更多"按钮向服务端发送Ajax请求,PHP根据分页参数查询将最新的 ...

Oracle-SQLLDR加载TPC-DS数据

Oracle-SQLLDR加载TPC-DS数据相关推荐

最新文章

热门文章