oozie调度中的重试和手工rerun一个workflow

在oozie中有Bundle、Coordinator和Workflow三种类型的job，他们之间可以有以下包含关系。

Bundle > Coordinator > Workflow。

1. 重新运行一个Coordinator job，可以通过如下命令：

oozie job -rerun 0000034-180116183039102-oozie-hado-C -refresh -action 1-4

0000034-180116183039102-oozie-hado-C 表示coordinator的job id-action 表示包含的action对应的序号的1-4，即重新运行历史的4次job。

2. 如果只想重新运行一个workflow job,可以通过如下命令:

oozie job -rerun 0000411-180116183039102-oozie-hado-W -config rerun_workflow.xml

或者通过-D 参数直接设置 (上面rerun_workflow.xml中内容也是oozie.wf.rerun.failnodes=false的xml形式而已)

oozie job -rerun 0000411-180116183039102-oozie-hado-W -D oozie.wf.rerun.failnodes=false

否则会报错如下：

Error: E0401 : E0401: Missing configuration property [oozie.wf.rerun.skip.nodes OR oozie.wf.rerun.failnodes]

oozie.wf.rerun.failnodes 参数含义：true指在失败的节点重新运行，false指不在失败的节点运行oozie.wf.rerun.skip.nodes 指定跳过哪些节点运行

注意：使用rerun重新运行workflow的job时，在coordinator中配置的参数会失效，因此通常是rerun一个coordinator程序。

另外在worfkflow程序中，也可以按照如下配置来自动重试：

retry-max: 表示重试次数，如果该配置大于系统的配置最大重试次数，则取系统配置的最大次数

retry-interval: 重试时间间隔，3分钟。

总体可以解释为：每3分钟重试一次，一共重试5次。

    <!-- 统计day: dm_guba_loginlog --><action name="hive-node"  retry-max="5" retry-interval="3"><hive xmlns="uri:oozie:hive-action:0.2"><job-tracker>${jobTracker}</job-tracker><name-node>${nameNode}</name-node><job-xml>${hive_site_path}</job-xml><configuration><property><name>mapred.job.queue.name</name><value>${queueName}</value></property></configuration><script>script.q</script><param>tmp_table=tmp_dm_guba_loginlog_day</param><param>params_dt=${params_dt}</param></hive><ok to="java-node"/><error to="senderror"/></action>

oozie调度中的重试和手工rerun一个workflow相关推荐

通过shell脚本来rerun一个oozie调度失败的job,从而可以跳过执行失败的节点
标题很长:通过shell脚本来rerun一个oozie调度失败的job,从而可以跳过执行失败的节点不过目前从oozie调度测试的例子来看,oozie本身的retry好像并没有参数可以控制跳过失败的节 ...
CDH中hue使用oozie调度的文件注意事项
CDH中hue使用oozie调度的文件注意事项三个文件 job.properties 这个很重要,往往在创建得时候没有的,可以从其他地方cp也可以的 [root@hadoop001 bin]# su ...
CDH中hue的oozie调度流程shell
CDH中hue的oozie调度流程shell 1.将shell脚本上传到对应的hdfs的路径下 2.创建工作流 3.编辑工作流 4.上传脚本 5.添加文件 6.指定执行oozie的时候使用的Hadoo ...
Kubernetes调度器源码学习（三）：Preempt抢占机制、调度失败与重试处理
本文基于Kubernetes v1.22.4版本进行源码学习 5.Preempt抢占机制当高优先级的Pod没有找到合适的节点时,调度器会尝试抢占低优先级的Pod的节点.抢占过程是将低优先级的Pod从 ...
利刃 MVVMLight 8：DispatchHelper在多线程和调度中的使用
原文:利刃 MVVMLight 8:DispatchHelper在多线程和调度中的使用在应用程序中,线程可以被看做是应用程序的一个较小的执行单位.每个应用程序都至少拥有一个线程,我们称为主线程,这是 ...
Controller中目标场景及手工场景
场景是一种用来模拟大量用户操作的技术手段,通过配置和执行场景向服务器产生负载,验证系统各项性能指标是否达到用户要求. 新建场景 1.通过VuGen直接切换当前脚步进入到场景在菜单下打开Create ...
水库调度matlab,基于MATLAB模糊系统在水库调度中的应用初探_廖明潮
文章编号:1009-4881(2004)01-0022-03 收稿日期:2003-04-25 修回日期:2003-12-15 作者简介:廖明朝(1968-),男,湖北省洪湖市人,讲师. 基于MATLA ...
操作系统系统开销比率_操作系统中的最高响应比率下一个（HRRN）调度
操作系统系统开销比率操作系统中的HRRN调度是什么? (What is HRRN Scheduling in Operating System?) HRRN is the abbreviation ...
在VS中手工创建一个最简单的WPF程序
如果不用VS的WPF项目模板,如何手工创建一个WPF程序呢?我们来模仿WPF模板,创建一个最简单的WPF程序. 第一步:文件--新建--项目--空项目,创建一个空项目. 第二步:添加引用,Presen ...

oozie调度中的重试和手工rerun一个workflow

oozie调度中的重试和手工rerun一个workflow相关推荐

最新文章

热门文章