将这三个文件打成jar包,然后放在集群里用hadoop jar命令来运行hadoop jar wc.jar wc.LinuxS
hadoop jar命令会自动调取本地依赖和配置文件

jobcommit

package wc;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.log4j.BasicConfigurator;public class LinuxS {public static void main(String[] args) throws Exception {BasicConfigurator.configure(); //自动快速地使用缺省Log4j环境。System.setProperty("HADOOP_USER_NAME","root");//配置jvm变量Configuration conf = new Configuration();// 在hdfs上运行conf.set("fs.defaultFS", "hdfs://master:9000");conf.set("mapreduce.framework.name", "yarn");//默认linux单机运行localconf.set("yarn.resourcemanager.hostname","master");conf.set("mapreduce.app-submission.cross-platform","true");//兼容winconf.set("yarn.app.mapreduce.am.resource.mb", "500");// 防止虚拟机内存报错Job job = Job.getInstance(conf);//mapper,reducer,submitter三个类job.setJarByClass(LinuxS.class);  //在hadoop集群里提交jar包,可以用这个方法,免去设置jar包
//        job.setJar("d:/wc.jar");  //在idea里提交,需要指明jar包所在位置job.setMapperClass(CountMapper.class);job.setReducerClass(CountReducer.class);//mapper,reducer输出key和value的类型job.setMapOutputKeyClass(Text.class);//mapperjob.setMapOutputValueClass(IntWritable.class);job.setOutputKeyClass(Text.class);//reducerjob.setOutputValueClass(IntWritable.class);FileInputFormat.setInputPaths(job, new Path("/input"));FileOutputFormat.setOutputPath(job, new Path("/output"));job.setNumReduceTasks(2);boolean res = job.waitForCompletion(true);System.exit(res?0:1);}
}

mapper

package wc;import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;/*** 但是，在mapreduce中，map产生的数据需要传输给reduce，需要进行序列化和反序列化，java原生的数据类型会很慢,* 所以hadoop为jdk中的常用基本类型Long String Integer Float等数据类型封住了自己的实现了hadoop序列化接口的类型：* LongWritable,Text,IntWritable,FloatWritable**/
public class CountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{//KEYIN ：是map task读取到的一行的起始偏移量Long,hadoop中新建了LongWritable类型来替代//VALUEIN:是map task读取到的该行的内容,类型是String,hadoop中用Text来表示//KEYOUT：返回的key,用Text,既字母//VALUEOUT:返回的value,用Integer,既字母的个数@Overrideprotected void map(LongWritable key, Text value, Context context)//Context既输出的key-value的容器,可以看成是一个大的字典throws IOException, InterruptedException {String line = value.toString(); //将一行Text数据转换为StringString[] words = line.split(" ");//分割单词for(String word:words){//将分割的每一个单词写入到字典context.write(new Text(word), new IntWritable(1));}}
}

reducer

package wc;import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;import java.io.IOException;
import java.util.Iterator;public class CountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{@Overrideprotected void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {int count = 0;Iterator<IntWritable> iterator = values.iterator();while(iterator.hasNext()){IntWritable value = iterator.next();count += value.get();}context.write(key, new IntWritable(count));}
}

hadoop linux 集群提交任务相关推荐

Hadoop入门（十二）Intellij IDEA远程向hadoop集群提交mapreduce作业
Intellij IDEA远程向hadoop集群提交mapreduce作业,需要依赖到hadoop的库,hadoop集群的配置信息,还有本地项目的jar包. 一.软件环境 (1)window本地安装h ...
Linux搭建hadoop高性能集群（一）
文章目录关于此篇(题外话) Linux系统搭建hadoop高性能集群(一) 第一步虚拟机的安装第二步创建一个虚拟机第三步虚拟机启动初始化第四步虚拟机克隆第五步 Linux系统网络配置 ...
向Spark集群提交任务
1.启动spark集群. 启动Hadoop集群 cd /usr/local/hadoop/ sbin/start-all.sh 启动Spark的Master节点和所有slaves节点 cd /usr/ ...
Hadoop分布式集群的安装与部署实训总结报告
目录前言一.Hadoop平台框介绍 1.Hadoop的架构 2.HDFS:遵循主从架构,它具有以下元素. 2.1 名称节点 -Namenode 2.2 数据节点 - Datanode 2.3 块 ...
Hadoop/Spark集群搭建图文全攻略
Hadoop/Spark集群搭建图文全攻略一.安装VMware 二.创建Linux虚拟机三.CentOS-7安装四.Linux系统环境配置五.其他配置六.虚拟机克隆七.jdk安装八.Zo ...
Linux集群和自动化运维
Linux/Unix技术丛书 Linux集群和自动化运维余洪春著图书在版编目(CIP)数据 Linux集群和自动化运维/余洪春著. -北京:机械工业出版社,2016.8 (Linux/Unix技 ...
（超详细）基于Zookeeper的Hadoop HA集群的搭建
基于Zookeeper的Hadoop HA集群的搭建 JunLeon--go big or go home 前言: 高可用(high availability,HA)指的是若当前工作中的机器宕机了,系 ...
搭建Hadoop分布式集群的详细教程
目录写在前面一.创建虚拟机,安装Centos 二.VMware VMnet8模式共享主机网络配置三.克隆集群节点HadoopSlave1与HadoopSlave2 四.Linux系统配置五.H ...
spark提交到yarn_详细总结spark基于standalone、yarn集群提交作业流程
最近总结了一些关于spark core的内容,今天先来和大家分享一下spark的运行模式. spark运行模式 (1)local:在本地eclipse.IDEA中写spark代码运行程序,一般用于测试 ...

hadoop linux 集群提交任务

jobcommit

mapper

reducer

hadoop linux 集群提交任务相关推荐

最新文章

热门文章