hue执行workflow工作流出现直接FAILED

场景：

执行以下任务流的时候就出现了直接失败的情况

在第一次执行并且数据完善的情况下测试的，状态是成功的

但是第二次是在第一次基础上测试的，基础数据有所缺失

日志为：

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1]Oozie Launcher failed, finishing Hadoop job gracefully
Oozie Launcher, uploading action data to HDFS sequence file: hdfs://master:8020/user/yarn/oozie-oozi/0000001-210222093847775-oozie-oozi-W/shell-0b5f--shell/action-data.seq
Successfully reset security manager from org.apache.oozie.action.hadoop.LauncherSecurityManager@314b8f2d to null
Oozie Launcher ends

分析：

1、所有脚本都是这样，还是极个别脚本引起的异常失败整个工作流

2、是否和数据有关（大概率），为什么

然后之后做了一系列的测试工作，先是把两种不同数据源的脚本分开测试，得到的就是日志脚本的问题，就是没有数据的情况下会执行错误 KILLED

为什么呢？

因为shell脚本直接报的KILLED,导致程序直接异常退出

怎么规避呢

在这种情况下出现两种猜想和解决方法

oozie有没有可以直接配置的方法直接跳过任务流某个节点脚本的任务状态FAILED（直接异常停止了脚本），这样能够保证在所有环节里面都能够正常执行而不会因为某些无法避免的错误而停止整个流程
脚本控制，通过查询hdfs上面是否有相关数据文件的方法进行脚本内命令执行控制

通过查阅资料和相关论坛，都没有找到第一种方法的配置，所以只有第二种方法进行

具体实现方法，在shell脚本中加入相关判断

具体如下：

# 限制 不然会出现异常退出导致任务流失败
hadoop fs -test -e /origin_data/marketing_system/log/topic_start/$do_date
if [ $? -eq 0 ] ;thenhadoop fs -test -e /origin_data/marketing_system/log/topic_start/$do_date/*.lzoif [ $? -eq 0 ]; thennum=1fi
elsenum=2
fiif [ ${num} -eq 1 ];thenhive -e "$sql"hdfs dfs -rm -r /origin_data/marketing_system/log/topic_start/$do_date/
fi

hue执行workflow工作流出现直接FAILED相关推荐

Hue创建oozie workflow调度，Hue创建workflow，HUE配置邮件告警
1.配置sqoop驱动注:配置此驱动,解决在workflow中sqoop无法找到mysql驱动报错 (1)上传mysql-connector-xxx.jar cp mysql-connector-j ...
SharePoint 2013 Nintex Workflow 工作流帮助（六）
博客地址 http://blog.csdn.net/foxdave 工作流动作 7. Call web service(Integration分组) 一个调用WebService的操作. 自然,配置项 ...
WorkFlow 工作流
工作流工作流(Workflow),指"业务过程的部分或整体在计算机应用环境下的自动化". 是对工作流程及其各操作步骤之间业务规则的抽象.概括描述. 工作流解决的主要问题是:为了实 ...
WorkFlow工作流
工作流一.什么是工作流历史发展: 工作流的理论起源于70年代中期办公的自动化领域.90年代.工作流技术的研究与开发进一步发展.1993年8月,成立第一个工作流技术标准话的工业组织WFMC(工作流管 ...
Git workflow工作流及边角知识
Git workflow工作流及边角知识开篇 workflow工作流 rebase onto reset revert 开篇 Git是个老生长谈的问题了,如何在工作协作中使用Git,不同团队有不同的 ...
企业级开发：Gitflow Workflow工作流
http://www.jianshu.com/p/104fa8b15d1e http://www.jianshu.com/p/104fa8b15d1e http://www.jianshu.com/p ...
output.properties data exceeds its limit [2048] HUE执行脚本异常
Hue执行Shell脚本报错 java.io.IOException: output.properties data exceeds its limit [2048]at org.apache.ooz ...
Git三大特色之WorkFlow(工作流)
开篇 Git 三大特色,分支,暂存区,工作流,今天终于要写到 WorkFlow 了,我彷佛已经看到胜利的曙光,走起. 何谓工作流 WorkFlow 的字面意思,工作流,即工作流程.在分支篇里,有说过这 ...
ABAP WORKFLOW工作流创建（一）
SAP的工作流是个很老的内容了做过几次工作流的项目,现在有时间稍微写几篇博客一.TCODE:SWDD 创建一个新的workflow 工作流的流程无非就是两种,第一:同意.第二:拒绝(或者驳回) 1 ...

hue执行workflow工作流出现直接FAILED

场景：

日志为：

分析：

怎么规避呢

hue执行workflow工作流出现直接FAILED相关推荐

最新文章

热门文章