关于在hue当中通过oozie提交各类文件的总结（shell脚本，hive ，mr）

在ｏｏｚｉｅ上面提交作业报错的解决办法：

（１）在ｏｏｚｉｅ上将写好的好ｓｑｏｏｐ脚本添加上来的时候，这个时候报错。说一直没有权限：

解决方法：

（１）首先想到的时去修改这个文件的权限。然后修改之后还是不行。然后尝试各种各样的问题（ｈｕｅ采用的是４.１.０，ｏｏｚｉｅ采用的是４.２.０，ｓｑｏｏｐ采用的是１.４.６）

（２）然后就找到ｙａｒｎ的这个配置文件。然后这个文件是存放文件的输出中间结果。一般情况下是配置多个目录。减少磁盘的ｉｏ。

（３）最后直接指定这个文件。最后解释是ｏｏｚｉｅ的运行时会随机选择一台机器运行ｓｈｅｌｌ脚本。因此此时要保证每台机器上都有正常运行的ｓｈｅｌｌ脚本。和相应的环境相对应的。

（４）最后的解决办法是指定这个文件在提交任务的时候。

此时的xml文件当中出现了这个加载进去的文件。

但是在加上这个文件之后还是不能执行还是报错。一直显示主类退出异常：

问题还是没有得到解决：

最后在添加文件的时候还要执行oozie的执行的时候Hadoop用户。这样他才能找到环境当中的Hadoop用户。HADOOP_USER_NAME=${wf:user()}

至此oozie调用shell脚本执行成功了。

总结：在整个提交文件的过程中我们要保证文件oozie能够访问到我们提交的文件。而且还有就是文件的要访问的用户。而不是让ooize自己去系统上面找文件。这样可以保证文件被获取到。

（１）除了执行shell脚本我们还可以直接通过命令行执行。但是这个时候还是会报错。

解决方法: 在文件当中加入mysql的驱动包。

（１）在提交sql的时候。我们需要注意的问题：

在hive1当中我们想要执行某个sql的时候需要加上hive-site.xml的配置文件。这个时候oozie才能加载他的驱动。正常运行程序。

（１）在hive2当中不用指定相关的配置文件。而是直接可以对写的sql脚本进行加载。直接完成文件的加载执行。（文本的格式一定要规范）。

转载于:https://www.cnblogs.com/gxgd/p/8603556.html

关于在hue当中通过oozie提交各类文件的总结（shell脚本，hive ，mr）相关推荐

关于在hue当中调shell脚本的操作（这里的shell 脚本是在shell脚本当中嵌套shell脚本的操作使用source的方式）...
这两天在做数据的导入操作,为了方便数据的导入我们采用sqoop的方式将数据导入.但是在表很多的情况下,在hue当中部署工作流就是一件很麻烦的事情, 然后想着能不能通过shell脚本调shell脚本的方 ...
关于在hue当中执行定时任务，时间的设置。
在hue当中调用shell脚本,做任务的定时执行,设置任务的定时执行时间.想让任务每5分钟执行一次.但是找了半天也没找到怎么设置定时任务的额执行情况. 在整个的页面当中只有定义小时,天,周,年等相关的 ...
【原创】大叔问题定位分享（33）oozie提交任务报错ArithmeticException: / by zero
oozie提交workflow后执行task报错: 2019-07-04 17:19:00,559 ERROR [RMCommunicator Allocator] org.apache.hadoop ...
CDH中hue使用oozie调度的文件注意事项
CDH中hue使用oozie调度的文件注意事项三个文件 job.properties 这个很重要,往往在创建得时候没有的,可以从其他地方cp也可以的 [root@hadoop001 bin]# su ...
1.Hue 中运行oozie工作流执行spark 报错 local class incompatible
一.问题在hue中运行oozie工作流执行spark任务时,报错java.io.InvalidClassException: ; local class incompatible: stream c ...
hbase 导入oracle,hue中使用oozie执行sqoop job将oracle中的数据增量导入hbase
在cdh hue中使用oozie执行sqoop job时遇到下面的问题. sqoop命令 job --meta-connect jdbc:hsqldb:hsql://bigdata02:16000/s ...
将.gitignore应用于已提交的文件
本文翻译自:Applying .gitignore to committed files I have committed loads of files that I now want to igno ...
关于web项目当中的mybatis的xml 文件的配置启动报错的解决。
最近的web项目当中遇到自己自定义的xml文件,但是在启动的时候报错.找了半天的原因也不知道在哪里. 报的错误如下: Caused by: org.apache.ibatis.builder.Buil ...
Git 删除已经提交的文件（Delete commits from a branch in Git）
运用场景我提交了一个文件到github 的服务器上,并且已经点击了commit, 这个时候,因为文件最大不能超过100MB 所以在push 的时候出现了错误. 所以当我们误提交一个文件的时候,我们这 ...

关于在hue当中通过oozie提交各类文件的总结（shell脚本，hive ，mr）

关于在hue当中通过oozie提交各类文件的总结（shell脚本，hive ，mr）相关推荐

最新文章

热门文章