oozie案例——自定义MapReduce workflow
相关运行命令
运行一个应用: bin/oozie job -oozie http://hadoop-1:11000/oozie -config examples/apps/map-reduce/job.properties -run 杀掉一个job bin/oozie job -oozie http://hadoop-1:11000/oozie -kill 0000001-160702224410648-oozie-beif-W 查看job的日志信息 bin/oozie job -oozie http://hadoop-1:11000/oozie -log 0000001-160702224410648-oozie-beif-W 查看job的信息 bin/oozie job -oozie http://hadoop-1:11000/oozie -info 0000001-160702224410648-oozie-beif-W
1.定义job.properties
nameNode=hdfs://hadoop-1:9000 jobTracker=hadoop-1:8032 queueName=default examplesRoot=mr-wordcountoozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/workflow.xml outputDir=output-data
2. 定义workflow.xml
<workflow-app xmlns="uri:oozie:workflow:0.2" name="map-reduce-wf"><start to="mr-node"/><action name="mr-node"><map-reduce><job-tracker>${jobTracker}</job-tracker><name-node>${nameNode}</name-node><prepare><delete path="${nameNode}/user/${wf:user()}/${examplesRoot}/${outputDir}"/></prepare><configuration><property><name>mapred.job.queue.name</name><value>${queueName}</value></property><!-- new api flag --><property><name>mapred.mapper.new-api</name><value>true</value></property><property><name>mapred.reducer.new-api</name><value>true</value></property><!-- map task --><property><name>mapreduce.job.map.class</name><value>org.gh.hadoop.mapreduce.WordCount$WCMapper</value></property><property><name>mapreduce.map.output.key.class</name><value>org.apache.hadoop.io.Text</value></property><property><name>mapreduce.map.output.value.class</name><value>org.apache.hadoop.io.IntWritable</value></property><!-- reduce task --><property><name>mapreduce.job.reduce.class</name><value>org.gh.hadoop.mapreduce.WordCount$WCReducer</value></property><property><name>mapreduce.job.output.key.class</name><value>org.apache.hadoop.io.Text</value></property><property><name>mapreduce.job.output.value.class</name><value>org.apache.hadoop.io.IntWritable</value></property><property><name>mapred.map.tasks</name><value>1</value></property><!-- input data dir --><property><name>mapred.input.dir</name><value>/user/${wf:user()}/${examplesRoot}/input-data</value></property><!-- output data dir --><property><name>mapred.output.dir</name><value>/user/${wf:user()}/${examplesRoot}/${outputDir}</value></property></configuration></map-reduce><ok to="end"/><error to="fail"/></action><kill name="fail"><message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message></kill><end name="end"/> </workflow-app>
转载于:https://www.cnblogs.com/guanhao/p/5649937.html
oozie案例——自定义MapReduce workflow相关推荐
- 关于oozie出现在执行workflow中出现prep的问题
1.问题: 2.问题排查: 查看本地job.properties的配置 nameNode=hdfs://hadoop1:8020 jobTracker=hadoop1:8021 queueName=d ...
- 使用Mapreduce案例编写用于统计文本中单词出现的次数的案例、mapreduce本地运行等,Combiner使用及其相关的知识,流量统计案例和流量总和以及流量排序案例,自定义Partitioner
工程结构: 在整个案例过程中,代码如下: WordCountMapper的代码如下: package cn.toto.bigdata.mr.wc; import java.io.IOException ...
- java的构造函数格式_java – 自定义MapReduce输入格式 – 找不到构造函数
我正在为Hadoop 0.20.2编写一个自定义的InputFormat,并且遇到NoSuchMethodException我无法摆脱.我开始时: public class ConnectionInp ...
- [Hadoop] - 自定义Mapreduce InputFormatOutputFormat
在MR程序的开发过程中,经常会遇到输入数据不是HDFS或者数据输出目的地不是HDFS的,MapReduce的设计已经考虑到这种情况,它为我们提供了两个组建,只需要我们自定义适合的InputFormat ...
- Oozie自带MapReduce示例的运行
示例很简单,但是却有很多坑,如下先给出最终的配置示例以及运行结果,最后给出其中遇到过的问题以及解决方法. 安装用户 Hadoop安装在root用户下: Oozie安装在wht用户下(一开始是安装在ro ...
- java扫描所有用户信息_监听器实现案例----自定义session扫描器和统计在线用户人数及用户信息...
一.案例一:自定义Session扫描器 1.案例说明 当一个Web应用创建的Session很多时,为了避免Session占用太多的内存,我们可以选择手动将这些内存中的session销毁,那么此时也可以 ...
- Hadoop集群中HDFS的API测试案例以及MapReduce的多种提交Job方式案例
这两个案例默认是hadoop集群环境已经搭建好以及IDEA环境也已经配置好 1.HDFS客户端测试案例 1.1.pom依赖 <?xml version="1.0" encod ...
- 结合案例讲解MapReduce重要知识点 --------- MapReduce各组件之间数据传递
简单说就是在map中设置一个值,在reduce中能够获得这个值 import java.io.IOException;import org.apache.hadoop.conf.Configurati ...
- 大数据学习笔记25:MR案例——自定义输入输出格式处理个人成绩
文章目录 一.提出任务 二.自定义输入格式 1.输入格式(InputFormat) 2.记录读取器(RecordReader) 三.自定义输出格式 1.输出格式(OutputFormat) 2.记录写 ...
最新文章
- java get方法报空指针_面试的哪些事儿之JAVA程序员面试笔试题(一)
- java set第n位_数据结构与算法——常用数据结构及其Java实现
- 使用Gitblit 搭建Windows Git服务器
- Scala初步学习(三)
- Python阶段总结
- 安装卸载gitlab
- Centos7 卸载自带的OpenJDK
- C# 类中索引器的使用
- Java的核心技术有哪些
- 灵悟礼品网上专卖店——第三阶段Sprint
- querydsl动态 sql_QueryDSL-JPA
- 央视“315晚会”上曝光的“网络水军”要怎么从技术上防范
- this.name=name;中两个name都是什么意思?
- 3D车道线单目检测方法ONCE-3DLanes
- OSChina 周五乱弹 ——如何请假回家追妹子
- Linux:ls命令
- Android 9.0 IMS通话流程
- 项目工时管理遇难题?看看这套工时管理系统解决方案
- 看了狗屁不通文章生成器,我想起自己写过个人信息生成器
- c语言判断正整数位数 请用strengh,C语言程序设计-4、12章习题解答.doc
热门文章
- docker命令行解析以及如何向服务器端发送请求(docker源码学习一)
- 如何不屏蔽Android系统的返回按键
- 一个小的日常实践——距离阵列
- 创建一个强名称密钥文件+ 如何在 Visual C# .NET 中将程序集安装到全局程序集缓存中...
- 返回或输出类型为 unsigned 8-bit type(8U) 的函数积累!
- CentOS7.6 Open vSwitch安装
- matlab并联负荷模块,Matlab-SimPowerSystems-Elements模块使用说明
- linux存储--线程与栈(十五)
- thinkphp 个别字段无法更新_Ripro子主题:jizhichlid极致主题,原创首发永久更新,不限域名永乐使用...
- Laravel——消息通知