hue 用oozie调度shell（sqoop）脚本问题

真是搞了好几天
hue上的日志问题给的太有迷惑性了

问题一：用户权限问题

对应的更改文件权限就可以了

HADOOP_USER_NAME=${wf:user()}

让oozie找到Hadoop集群上面的用户。

问题二：文件找不到问题

将文件上传的到hdfs的路径，也要注意权限问题
然后：

问题三：sqoop的shell找不到com.mysql.jdbc.Driver

java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver

解决：
每个节点下的cdh
将 mysql-connector-java.jar 拷贝到 /opt/cloudera/parcels/CDH/lib/sqoop/lib 下

将mysql-connector-java.jar上传到hdfs：/user/oozie/share/lib/lib_timstamp/sqoop
2, 重启oozie服务

四总结：
有问题，先看yarn的log日志，这个问题会写的更具体

hue 用oozie调度shell（sqoop）脚本问题相关推荐

CDH中hue的oozie调度流程shell
CDH中hue的oozie调度流程shell 1.将shell脚本上传到对应的hdfs的路径下 2.创建工作流 3.编辑工作流 4.上传脚本 5.添加文件 6.指定执行oozie的时候使用的Hadoo ...
CDH中hue使用oozie调度的文件注意事项
CDH中hue使用oozie调度的文件注意事项三个文件 job.properties 这个很重要,往往在创建得时候没有的,可以从其他地方cp也可以的 [root@hadoop001 bin]# su ...
oozie调度shell脚本
oozie调度任务的一般步骤如下: 创建工作目录并复制模板在oozie的根目录下,有已经写好的配置文件模板,job.properties和workflow.xml,我们只需要复制过来修改即可,不用从 ...
CDH6.3.0 HUE 整合 Oozie调度
由于oozie的xml配置执行各种任务调度是在太过于繁琐,所有一般都使用hue整合oozie来使用通过hue对oozie进行配置,所以首先保证hue中 time_zone为Asia/Shanghai ...
Hue创建oozie workflow调度，Hue创建workflow，HUE配置邮件告警
1.配置sqoop驱动注:配置此驱动,解决在workflow中sqoop无法找到mysql驱动报错 (1)上传mysql-connector-xxx.jar cp mysql-connector-j ...
通过shell脚本来rerun一个oozie调度失败的job,从而可以跳过执行失败的节点
标题很长:通过shell脚本来rerun一个oozie调度失败的job,从而可以跳过执行失败的节点不过目前从oozie调度测试的例子来看,oozie本身的retry好像并没有参数可以控制跳过失败的节 ...
HUE中Oozie执行Sqoop
Oozie执行Sqoop,传入参数(注意,在使用--query时,参数中一定不要带有空格,否则出错) 1. 新建一个workflow 2. 拖入一个sqoop 3. sqoop抽取命令如下(建议先在命 ...
hue的oozie的定时调度任务配置
hue的oozie的定时调度任务配置
【构建PB级准实时分析引擎】 -- azkaban、airflow、dolphinscheduler、quartz、xxl-job 、oozie调度方案评测
评测说明本评测方案主要从自身实用的角度出发,对比主流的开源任务调度方案,评选出最适合自己的方案,以作为自己的调度工具. 评测目标短期目标可调度多台机器的shell/python脚本: 可管理 ...

hue 用oozie调度shell（sqoop）脚本问题

hue 用oozie调度shell（sqoop）脚本问题

问题一：用户权限问题

问题二：文件找不到问题

问题三：sqoop的shell找不到com.mysql.jdbc.Driver

hue 用oozie调度shell（sqoop）脚本问题相关推荐

最新文章

热门文章