数据装载服务器_操作事项

文章目录

一、数据装载前置准备
- 1.1. 切换用户
- 1.2. 生成文件
二、手动触发
- 2.1. 拉取文件
- 2.2.文件数据加载
- 2.3. 数据查询
- 2.4. 数据查询
三、定时调度
- 3.1. 添加任务
- 3.2. 配置频次
- 3.3. 重新加载
- 3.4. 总览任务列表
- 3.5. 监控是否执行

一、数据装载前置准备

1.1. 切换用户

切换用户为oracle

su - oracle注：如果有oracle密码，可以跳过此步骤，直接登录即可

1.2. 生成文件

生成表控制文件(.ctl)

# 进入生成控制文件目录
cd /app/jiazai/sql_loadv1.0/control/# 删除以前的控制文件
rm -rf new.unl  old.unl file/# 重新生成控制文件
sh ./new.sh

数据装载分为手动触发和定时触发二种场景，接下来为小伙伴们，分开来介绍

二、手动触发

2.1. 拉取文件

先连接ODS的sftp服务器将需要装载的文件下载到本地服务器，然后，执行数据清除，将临时B表中的数据删除

#拉取sftp文件到本地应用

# 进入到根目录
cd /app/jiazai/sql_loadv1.0/# 执行加载指定日期的文件
# 格式：sh load.sh 加载数据文件日期文件夹
sh load.sh 20201027

2.2.文件数据加载

将下载下来的文件进行解析并加载到Oracle数据库

流程：
数据文件解析–>Oracle 临时表–>目标表
说明：首先将文件中的数据解析加载到数据库的临时表中，然后，调用存储过程，将临时B表中的数据同步到目标表中

# 进入下载的日期文件夹下面
cd /app/jiazai/sql_loadv1.0/loaded/20201027/# 执行加载处理
sh run_sqlldr.sh注：加载完成后，会显示 load success ！

2.3. 数据查询

数据库查询临时表

SELECT * FROM XXX临时一套表

2.4. 数据查询

去数据库查询目标表

SELECT * FROM XXX目标一套表

三、定时调度

3.1. 添加任务

编辑定时文件

crontab -e

3.2. 配置频次

配置执行频次
在/app/jiazai/sql_loadv1.0/目录下面有个总控脚本：xxxloadupgrade.sh

*/30 * * * *  /bin/sh /app/jiazai/sql_loadv1.0/xxxloadupgrade.sh保存，退出

3.3. 重新加载

重新加载cron服务

/sbin/service crond restart

3.4. 总览任务列表

查看当前用户下的定时任务列表

crontab -l

3.5. 监控是否执行

1》可以借助根据日志查看
2》可以借助plsql工具查询

数据装载服务器_操作事项_06相关推荐

oracle 数据库_操作事项_05
文章目录 1. 目标表 2. 临时表 3. 日志表 4. 配置表 5. 用户查询 6. 配置数据声明:请使用oralce用户登录plsq操作 1. 目标表与ODS(数据仓库)约定的表模型,把表结构 ...
数据摆渡服务器_云桌面环境下如何建立数据安全便捷交换的统一通道？
什么是云桌面?为什么使用云桌面?这些问题已经不用再细说了吧?成本低.便于管理.数据不落地.安全性好--等等,总之啊,优势是有很多的. 大部分使用云桌面的企业,都是科技研发型企业,他们在使用云桌面的同时 ...
数据摆渡服务器_信息安全华能国际：烟气监测数据网络传输的安全防护
点击蓝字关注我们推荐理由燃煤发电厂烟气在线监测系统(CEMS)数据一方面需接入电厂控系统,参与工艺控制:另一方面需接入环保专网进行监管.长兴电厂就如何保证CEMS数据在生产大区与外网之间进行安全 ...
大数据_Hbase-shell命令_操作hbase_完成对表的增删改查---Hbase工作笔记0005
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 然后我们再来看,上面安装了hbase以后,这里我们开始说怎么来基本的用这个 hbase. 首先,上 ...
数据装载器连接其他oracle数据库_07
需求背景:数据加载器默认连接的是技术oracle数据库,但是,现在开发oracle数据库和回归oracle数据库也需要数据加载. 文章目录一.初始化前置准备二.配置指定监听三.调整配置文件二. ...
网易实况足球获取服务器信息,网易实况足球国际服和国服数据互通吗_游戏评价介绍...
网易实况足球国际服和国服数据互通吗_游戏评价介绍 2018-03-14 17:34:11 网易实况足球在3月13日正式命名为实况王者集结,其实这款手游在国际服已经上线了.很多喜欢足球的小伙伴也玩过了这 ...
如何改善mysql数据装载操作效率的方法_详述如何提高MySQL中数据装载效率
摘抄自:http://database.ctocio.com.cn/153/9232653.shtml 很多时候关心的是优化SELECT 查询,因为它们是最常用的查询,而且确定怎样优化它们并不总是直截 ...
python中数据读写_【循序渐进学Python——文件中数据的读写以及操作】
[循序渐进学Python--文件中数据的读写以及操作] [循序渐进学Python--文件中数据的读写以及操作] [循序渐进学Python--文件中数据的读写以及操作] 相信大家都想过自己有一天,可以用 ...
python2 json大数据_大数据技术之python 操作json
本篇文章探讨了大数据技术之python 操作json,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入. #!/usr/bin/env python import json s = ...

数据装载服务器_操作事项_06