相关运行命令

运行一个应用:
bin/oozie job -oozie http://hadoop-1:11000/oozie -config examples/apps/map-reduce/job.properties -run

杀掉一个job
bin/oozie job -oozie http://hadoop-1:11000/oozie  -kill 0000001-160702224410648-oozie-beif-W

查看job的日志信息
bin/oozie job -oozie http://hadoop-1:11000/oozie -log 0000001-160702224410648-oozie-beif-W

查看job的信息
bin/oozie job -oozie http://hadoop-1:11000/oozie -info 0000001-160702224410648-oozie-beif-W

1.定义job.properties

nameNode=hdfs://hadoop-1:9000
jobTracker=hadoop-1:8032
queueName=default
examplesRoot=mr-wordcountoozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/workflow.xml
outputDir=output-data

2. 定义workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.2" name="map-reduce-wf"><start to="mr-node"/><action name="mr-node"><map-reduce><job-tracker>${jobTracker}</job-tracker><name-node>${nameNode}</name-node><prepare><delete path="${nameNode}/user/${wf:user()}/${examplesRoot}/${outputDir}"/></prepare><configuration><property><name>mapred.job.queue.name</name><value>${queueName}</value></property><!-- new api flag --><property><name>mapred.mapper.new-api</name><value>true</value></property><property><name>mapred.reducer.new-api</name><value>true</value></property><!-- map task --><property><name>mapreduce.job.map.class</name><value>org.gh.hadoop.mapreduce.WordCount$WCMapper</value></property><property><name>mapreduce.map.output.key.class</name><value>org.apache.hadoop.io.Text</value></property><property><name>mapreduce.map.output.value.class</name><value>org.apache.hadoop.io.IntWritable</value></property><!-- reduce task --><property><name>mapreduce.job.reduce.class</name><value>org.gh.hadoop.mapreduce.WordCount$WCReducer</value></property><property><name>mapreduce.job.output.key.class</name><value>org.apache.hadoop.io.Text</value></property><property><name>mapreduce.job.output.value.class</name><value>org.apache.hadoop.io.IntWritable</value></property><property><name>mapred.map.tasks</name><value>1</value></property><!-- input data dir --><property><name>mapred.input.dir</name><value>/user/${wf:user()}/${examplesRoot}/input-data</value></property><!-- output data dir --><property><name>mapred.output.dir</name><value>/user/${wf:user()}/${examplesRoot}/${outputDir}</value></property></configuration></map-reduce><ok to="end"/><error to="fail"/></action><kill name="fail"><message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message></kill><end name="end"/>
</workflow-app>

转载于:https://www.cnblogs.com/guanhao/p/5649937.html

oozie案例——自定义MapReduce workflow相关推荐

  1. 关于oozie出现在执行workflow中出现prep的问题

    1.问题: 2.问题排查: 查看本地job.properties的配置 nameNode=hdfs://hadoop1:8020 jobTracker=hadoop1:8021 queueName=d ...

  2. 使用Mapreduce案例编写用于统计文本中单词出现的次数的案例、mapreduce本地运行等,Combiner使用及其相关的知识,流量统计案例和流量总和以及流量排序案例,自定义Partitioner

    工程结构: 在整个案例过程中,代码如下: WordCountMapper的代码如下: package cn.toto.bigdata.mr.wc; import java.io.IOException ...

  3. java的构造函数格式_java – 自定义MapReduce输入格式 – 找不到构造函数

    我正在为Hadoop 0.20.2编写一个自定义的InputFormat,并且遇到NoSuchMethodException我无法摆脱.我开始时: public class ConnectionInp ...

  4. [Hadoop] - 自定义Mapreduce InputFormatOutputFormat

    在MR程序的开发过程中,经常会遇到输入数据不是HDFS或者数据输出目的地不是HDFS的,MapReduce的设计已经考虑到这种情况,它为我们提供了两个组建,只需要我们自定义适合的InputFormat ...

  5. Oozie自带MapReduce示例的运行

    示例很简单,但是却有很多坑,如下先给出最终的配置示例以及运行结果,最后给出其中遇到过的问题以及解决方法. 安装用户 Hadoop安装在root用户下: Oozie安装在wht用户下(一开始是安装在ro ...

  6. java扫描所有用户信息_监听器实现案例----自定义session扫描器和统计在线用户人数及用户信息...

    一.案例一:自定义Session扫描器 1.案例说明 当一个Web应用创建的Session很多时,为了避免Session占用太多的内存,我们可以选择手动将这些内存中的session销毁,那么此时也可以 ...

  7. Hadoop集群中HDFS的API测试案例以及MapReduce的多种提交Job方式案例

    这两个案例默认是hadoop集群环境已经搭建好以及IDEA环境也已经配置好 1.HDFS客户端测试案例 1.1.pom依赖 <?xml version="1.0" encod ...

  8. 结合案例讲解MapReduce重要知识点 --------- MapReduce各组件之间数据传递

    简单说就是在map中设置一个值,在reduce中能够获得这个值 import java.io.IOException;import org.apache.hadoop.conf.Configurati ...

  9. 大数据学习笔记25:MR案例——自定义输入输出格式处理个人成绩

    文章目录 一.提出任务 二.自定义输入格式 1.输入格式(InputFormat) 2.记录读取器(RecordReader) 三.自定义输出格式 1.输出格式(OutputFormat) 2.记录写 ...

最新文章

  1. java get方法报空指针_面试的哪些事儿之JAVA程序员面试笔试题(一)
  2. java set第n位_数据结构与算法——常用数据结构及其Java实现
  3. 使用Gitblit 搭建Windows Git服务器
  4. Scala初步学习(三)
  5. Python阶段总结
  6. 安装卸载gitlab
  7. Centos7 卸载自带的OpenJDK
  8. C# 类中索引器的使用
  9. Java的核心技术有哪些
  10. 灵悟礼品网上专卖店——第三阶段Sprint
  11. querydsl动态 sql_QueryDSL-JPA
  12. 央视“315晚会”上曝光的“网络水军”要怎么从技术上防范
  13. this.name=name;中两个name都是什么意思?
  14. 3D车道线单目检测方法ONCE-3DLanes
  15. OSChina 周五乱弹 ——如何请假回家追妹子
  16. Linux:ls命令
  17. Android 9.0 IMS通话流程
  18. 项目工时管理遇难题?看看这套工时管理系统解决方案
  19. 看了狗屁不通文章生成器,我想起自己写过个人信息生成器
  20. c语言判断正整数位数 请用strengh,C语言程序设计-4、12章习题解答.doc

热门文章

  1. docker命令行解析以及如何向服务器端发送请求(docker源码学习一)
  2. 如何不屏蔽Android系统的返回按键
  3. 一个小的日常实践——距离阵列
  4. 创建一个强名称密钥文件+ 如何在 Visual C# .NET 中将程序集安装到全局程序集缓存中...
  5. 返回或输出类型为 unsigned 8-bit type(8U) 的函数积累!
  6. CentOS7.6 Open vSwitch安装
  7. matlab并联负荷模块,Matlab-SimPowerSystems-Elements模块使用说明
  8. linux存储--线程与栈(十五)
  9. thinkphp 个别字段无法更新_Ripro子主题:jizhichlid极致主题,原创首发永久更新,不限域名永乐使用...
  10. Laravel——消息通知