记录一则expdp任务异常处理案例
墨墨导读:在XTTS迁移测试阶段,遇到执行几个expdp的导出任务,迟迟没有返回任何信息,对应日志无任何输出。
环境:
AIX 6.1 + Oracle 10.2.0.4
现象:
在XTTS迁移测试阶段,遇到执行几个expdp的导出任务,迟迟没有返回任何信息,对应日志无任何输出,查看任务状态:
SQL>
set lines 300
col OWNER_NAME for a10
col OPERATION for a15
col JOB_MODE for a20
col STATE for a15
select * from dba_datapump_jobs;OWNER_NAME JOB_NAME OPERATION JOB_MODE STATE DEGREE ATTACHED_SESSIONS DATAPUMP_SESSIONS
---------- ------------------------------ --------------- -------------------- --------------- ---------- ----------------- -----------------
SYS SYS_EXPORT_TRANSPORTABLE_01 EXPORT TRANSPORTABLE DEFINING 1 0 1
SYS SYS_EXPORT_TRANSPORTABLE_02 EXPORT TRANSPORTABLE DEFINING 1 1 2
SYS SYS_EXPORT_TRANSPORTABLE_03 EXPORT TRANSPORTABLE DEFINING 1 1 2
SYS SYS_EXPORT_SCHEMA_01 EXPORT SCHEMA DEFINING 1 1 2
SYS SYS_EXPORT_TRANSPORTABLE_04 EXPORT TRANSPORTABLE DEFINING 1 1 2
SYS SYS_EXPORT_SCHEMA_02 EXPORT SCHEMA DEFINING 1 1 26 rows selected.
可以看到所有的expdp导出任务的STATE都停留在DEFINING状态。
1.牛刀小试清异常
2.追本溯源查MOS
1. 牛刀小试清异常
先强制杀掉后台执行的所有expdp任务:
ps -ef|grep expdp|grep -v grep|awk '{print $2}'|xargs kill -9
然后尝试删除这些表(其实应该在not running状态下删除)
select 'drop table '||OWNER_NAME||'.'||JOB_NAME||' purge;' from dba_datapump_jobs where STATE='NOT RUNNING';drop table sys.SYS_EXPORT_TRANSPORTABLE_01 purge;
..
可这样是没有作用的,查询结果不变。
甚至尝试正常shutdown immediate停止数据库,也无法成功,告警日志看到有活动调用:
Thu Nov 1 15:14:24 2018
Active call for process 4522064 user 'oracle' program 'oracle@localhost (DM00)'
Active call for process 4456536 user 'oracle' program 'oracle@localhost (DM01)'
Active call for process 10027180 user 'oracle' program 'oracle@localhost (DM02)'
Active call for process 7340140 user 'oracle' program 'oracle@localhost (DM03)'
Active call for process 6291888 user 'oracle' program 'oracle@localhost (DM04)'
Active call for process 8126596 user 'oracle' program 'oracle@localhost (DM05)'
SHUTDOWN: waiting for active calls to complete.
发现这些进程的id都对应了ora_dm的进程:
$ ps -ef|grep ora_dmoracle 4456536 1 0 17:00:09 - 0:00 ora_dm01_xxxxdboracle 4522064 1 0 16:50:57 - 0:00 ora_dm00_xxxxdboracle 7340140 1 0 14:06:07 - 0:00 ora_dm03_xxxxdboracle 8126596 1 0 14:35:03 - 0:00 ora_dm05_xxxxdboracle 10027180 1 0 13:55:08 - 0:00 ora_dm02_xxxxdboracle 6291888 1 0 14:31:17 - 0:00 ora_dm04_xxxxdboracle 7340432 8388786 0 15:22:59 pts/4 0:00 grep ora_dm
实际上,这就是expdp任务的相关进程,强制杀掉这些进程:
ps -ef|grep ora_dm|grep -v grep|awk '{print $2}'|xargs kill -9
之后数据库关闭成功:
Thu Nov 1 15:24:37 2018
All dispatchers and shared servers shutdown
Thu Nov 1 15:24:37 2018
ALTER DATABASE CLOSE NORMAL
启动数据库后,再次查询发现已经成功清理:
SQL>
set lines 300
col OWNER_NAME for a10
col OPERATION for a15
col JOB_MODE for a20
col STATE for a15
select * from dba_datapump_jobs;no rows selected
小结:
数据泵任务与ora_dm进程相关;如果数据泵任务发生异常,但任务并没有退出的情况,需要同时杀掉这类进程(杀掉后状态就会变为NOT RUNNING)。关库不是必须的,只是演示此时正常关闭被阻塞的场景。这也能说明为什么要保证在NOT RUNNING状态下才可以清理。
2. 追本溯源查MOS
上面的步骤只是清理了异常的数据泵任务,但没有解决问题,再次后台执行备份任务依然会重现故障:nohup sh expdp_xtts.sh &
$ ps -ef|grep expdporacle 6684914 8061208 0 15:30:07 pts/2 0:00 grep expdporacle 7143482 8061208 0 15:30:03 pts/2 0:00 sh expdp_xtts.shoracle 6685096 7143482 0 15:30:03 pts/2 0:00 expdp '/ as sysdba' parfile=expdp_xtts.par
$ ps -ef|grep ora_dmoracle 7602308 8061208 0 15:30:10 pts/2 0:00 grep ora_dmoracle 3997964 1 1 15:30:05 - 0:00 ora_dm00_xxxxdb
$
此时查询dba_datapump_jobs,state依然一直是defining状态:
OWNER_NAME JOB_NAME OPERATION JOB_MODE STATE DEGREE ATTACHED_SESSIONS DATAPUMP_SESSIONS
---------- ------------------------------ --------------- ------------------------------ ------------------------------ ---------- ----------------- -----------------
SYS SYS_EXPORT_TRANSPORTABLE_01 EXPORT TRANSPORTABLE DEFINING 1 1 2
其他的导出任务都一样,不再赘述。
为了方便测试,写一个简单的单表expdp导出,现象也一样。
expdp \'/ as sysdba\' directory=XTTS tables=query.test dumpfile=query_test.dmp logfile=query_test.log
根据故障现象,用如下关键字在MOS中搜索: expdp state DEFINING,匹配到文档:
DataPump Export/Import Hangs With “DEFINING” Status When Using A Directory On NFS Filesystem (文档 ID 2262196.1)
正好这次测试是在NFS文件系统上,MOS建议移动到本地文件系统导出。
这次再将expdp进程全部杀掉:
ps -ef|grep ora_dm|grep -v grep|awk '{print $2}'|xargs kill -9
ps -ef|grep expdp|grep -v grep|awk '{print $2}'|xargs kill -9
此时查询dba_datapump_jobs:
OWNER_NAME JOB_NAME OPERATION JOB_MODE STATE DEGREE ATTACHED_SESSIONS DATAPUMP_SESSIONS
---------- ------------------------------ --------------- ------------------------------ --------------- ---------- ----------------- -----------------
SYS SYS_EXPORT_TABLE_04 EXPORT TABLE NOT RUNNING 0 0 0
SYS SYS_EXPORT_SCHEMA_01 EXPORT SCHEMA NOT RUNNING 0 0 0
SYS SYS_EXPORT_TABLE_02 EXPORT TABLE NOT RUNNING 0 0 0
SYS SYS_EXPORT_TABLE_05 EXPORT TABLE NOT RUNNING 0 0 0
SYS SYS_EXPORT_TABLE_03 EXPORT TABLE NOT RUNNING 0 0 0
SYS SYS_EXPORT_TABLE_01 EXPORT TABLE NOT RUNNING 0 0 0
SYS SYS_EXPORT_TRANSPORTABLE_01 EXPORT TRANSPORTABLE NOT RUNNING 0 0 07 rows selected.
清理NOT RUNNING的master表:
select 'drop table '||OWNER_NAME||'.'||JOB_NAME||' purge;' from dba_datapump_jobs where STATE='NOT RUNNING';
--执行结果用来执行,再次查看结果为空:
SQL> select * from dba_datapump_jobs;
no rows selected
按MOS建议,将导出任务移动到本地文件系统:
AIX源端导出XTTS源数据至源端/hxbak/xtts_exp目录中,而后copy至nfs共享存储/xtts/dmp中:
mkdir /hxbak/xtts_exp
chown oracle:dba /hxbak/xtts_exp
ls -ld /hxbak/xtts_expselect * from dba_directories;
create or replace directory XTTS as '/hxbak/xtts_exp';
此时测试expdp任务可正常运行:
$ expdp \'/ as sysdba\' directory=XTTS tables=query.test dumpfile=query_test.dmp logfile=query_test.log
Export: Release 10.2.0.4.0 - 64bit Production on Thursday, 01 November, 2018 16:03:21Copyright (c) 2003, 2007, Oracle. All rights reserved.Connected to: Oracle Database 10g Enterprise Edition Release 10.2.0.4.0 - 64bit Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options
Starting "SYS"."SYS_EXPORT_TABLE_01": '/******** AS SYSDBA' directory=XTTS tables=query.test dumpfile=query_test.dmp logfile=query_test.log
Estimate in progress using BLOCKS method...
Processing object type TABLE_EXPORT/TABLE/TABLE_DATA
Total estimation using BLOCKS method: 8 MB
Processing object type TABLE_EXPORT/TABLE/TABLE
Processing object type TABLE_EXPORT/TABLE/STATISTICS/TABLE_STATISTICS
. . exported "QUERY"."TEST" 6.743 MB 72593 rows
Master table "SYS"."SYS_EXPORT_TABLE_01" successfully loaded/unloaded
******************************************************************************
Dump file set for SYS.SYS_EXPORT_TABLE_01 is:/hxbak/xtts_exp/query_test.dmp
Job "SYS"."SYS_EXPORT_TABLE_01" successfully completed at 16:03:57SQL> select * from dba_datapump_jobs;OWNER_NAME JOB_NAME OPERATION JOB_MODE STATE DEGREE ATTACHED_SESSIONS DATAPUMP_SESSIONS
---------- ------------------------------ --------------- ------------------------------ --------------- ---------- ----------------- -----------------
SYS SYS_EXPORT_TABLE_01 EXPORT TABLE EXECUTING 1 1 3
再次导出其他元数据:
#expdp_xtts.sh (about 5min)
nohup sh expdp_xtts.sh &
#expdp_xtts_other.sh(about 5min)
nohup sh expdp_xtts_other.sh &
#expdp_tmp_table
nohup sh expdp_tmp_table01.sh &
nohup sh expdp_tmp_table02.sh &
nohup sh expdp_tmp_table03.sh &
nohup sh expdp_tmp_table04.sh &
最后将这些导出文件再移动到/xtts/dmp/下,供后续xtts测试目标端导入使用:
$ pwd
/hxbak/xtts_exp
$ cp -rp * /xtts/dmp/
目标端导入时只需要有读这些文件的权限,即可,实际测试恢复OK。
小结:
在自己的linux环境测试过是可以直接expdp到nfs文件系统的,AIX看来有区别,MOS的建议也只是一个workaround,但也能满足需求,毕竟元数据导出文件没多大。
墨天轮原文链接:https://www.modb.pro/db/27204(复制到浏览器中打开或者点击“阅读原文”)
推荐阅读:144页!分享珍藏已久的数据库技术年刊
视频号,新的分享时代,关注我们,看看有什么新发现?
数据和云
ID:OraNews
如有收获,请划至底部,点击“在看”,谢谢!
点击下图查看更多 ↓
云和恩墨大讲堂 | 一个分享交流的地方
长按,识别二维码,加入万人交流社群
请备注:云和恩墨大讲堂
点个“在看”
你的喜欢会被看到❤
记录一则expdp任务异常处理案例相关推荐
- expdp导出 schema_记录一则expdp任务异常处理案例
在XTTS迁移测试阶段,遇到执行几个expdp的导出任务,迟迟没有返回任何信息,对应日志无任何输出. 环境: AIX 6.1 + Oracle 10.2.0.4 现象: 在XTTS迁移测试阶段,遇到执 ...
- 读《JavaServer Faces 核心编程(第3版)》一书的记录—— 第 6 章 数据库——案例 headersAndFooters
All + All - headersAndFooters + -本章阅读说明 1,第一步.第二步的内容适合于那些没有读过该案例之前的章节读者,建议其他读者直接从第三步开始阅读 2,这里的读书记录,偏 ...
- openprompt使用记录:分类,生成案例
openprompt使用记录:分类,生成案例 从安装到使用 官方提供了两种安装方式,我们直接使用git即可.这议严格按照官方教程(参考资料1)来,顺序不能错,有些网上教程版本较旧,没有中间那句,会导致 ...
- oracle 百万记录 cache,学习笔记:通过案例深入学习In-Memory Database Cache 总结配置过程...
天萃荷净 详细记录关于In-Memory Database Cache配置方法与使用案例 一.Oracle数据库创建相关用户和权限 1.创建timesten用户 store information a ...
- oracle查询数据泵状态,PLSQL_数据泵导入进度查看Impdp/Expdp Status(案例)
使用前提 EXPDP和IMPDP只可以在Oracle服务端使用. EXP导出的文件只可以使用IMP导入,不适用于IMPDP导入文件:EXPDP导出的文件只可以使用IMPDP导入,而不适用于IMP导出文 ...
- mysql存储过程异常记录_MySQL存储过程的“异常处理”
Q:何为异常? A:程序在执行过程中有可能出错,运行时错误叫做异常. 默认情况下,当存储过程运行出错时,过程会立即终止,并打印系统错误消息. 实验环境: mysql> use TENNIS Re ...
- Python入门基础学习记录(二)汇率案例学习记录
一.汇总整理 1.操作 ①新建python文件 工程右键--new--python file 2.注意问题与知识点 >变量定义:直接写变量名即可,例如定义一个字符串并赋值123: rmb_str ...
- 学习记录677@项目管理之配置管理案例
案例 Simple公司的质量管理体系中的配置管理程序文件中有如下规定: (1)由变更控制委员会(CCB)制定项目的配置管理计划; (2)由配置管理员(CMO)创建配置管理环境: (3)由CCB 审核变 ...
- 记录docker-Skywalking集成es7异常处理
遇到的问题: es7容器启动成功 skywalking的oap容器启动一直在restart 启动失败 处理过程: 1.docker logs oap容器ID 2.对应处理解决 PUT http://1 ...
最新文章
- 「图神经网络东」最新2022综述
- cubic算法优化_TCP拥塞控制算法 — CUBIC的补丁(七) | 学步园
- 【TypeScript】类的使用
- 爱因斯坦《我的世界观》
- 数学--数论---欧拉筛 模板
- 2019.04.24笔记
- Python treelib库创建多叉树的用法介绍
- 浅谈:云桌面在我国高校的应用前景
- 把html转换成PDF的手机软件,如何将MHTML转换为PDF(Convert MHTML to PDF)?
- 如何设置Mac允许远程电脑SSH登录?
- 教你手工去迅雷广告『罗斌原创』
- Matlab绘制散点图(scatter函数)
- 永磁同步电机MTPA最大转矩电流比控制仿真(公式法)
- 鲲鹏920服务器支持docker,鲲鹏云服务器上安装Dockerdocker-compose
- 连接数据库查询数据的工具类(底层实现)——以查询Phoenix为例
- 五个顶级的大数据架构
- led灯光衰怎么解决_解决LED灯具光衰办法大全
- Redis原理浅析(一):Redis基本数据类型、事务以及排序
- windows中安装绿色版的mysql
- XDOJ 233/237-字符串复制