将工程整体打成一个jar包并上传到linux机器上,

准备好要处理的数据文件放到hdfs的指定目录中

用命令启动jar包中的Jobsubmitter,让它去提交jar包给yarn来运行其中的mapreduce程序  :hadoop jar wc.jar cn.edu360.mr.wordcount.JobSubmitter .....

去hdfs的输出目录中查看结果

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**

* 如果要在hadoop集群的某台机器上启动这个job提交客户端的话

* conf里面就不需要指定 fs.defaultFS mapreduce.framework.name

*

* 因为在集群机器上用 hadoop jar xx.jar cn.edu360.mr.wc.JobSubmitter2 命令来启动客户端main方法时,

* hadoop jar这个命令会将所在机器上的hadoop安装目录中的jar包和配置文件加入到运行时的classpath中

*

* 那么,我们的客户端main方法中的new Configuration()语句就会加载classpath中的配置文件,自然就有了

* fs.defaultFS 和 mapreduce.framework.name 和 yarn.resourcemanager.hostname 这些参数配置

*

* @author ThinkPad

*

*/

public class JobSubmitterLinuxToYarn {

public static void main(String[] args) throws Exception {

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://hdp-01:9000");

conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

// 没指定默认文件系统

// 没指定mapreduce-job提交到哪运行

Job job = Job.getInstance(conf);

job.setJarByClass(JobSubmitterLinuxToYarn.class);

job.setMapperClass(WordcountMapper.class);

job.setReducerClass(WordcountReducer.class);

job.setMapOutputKeyClass(Text.class);

job.setMapOutputValueClass(IntWritable.class);

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(IntWritable.class);

FileInputFormat.setInputPaths(job, new Path("/wordcount/input"));

FileOutputFormat.setOutputPath(job, new Path("/wordcount/output"));

job.setNumReduceTasks(3);

boolean res = job.waitForCompletion(true);

System.exit(res?0:1);

}

}

linux进程map,LInux环境运行mapReduce程序相关推荐

  1. linux进程map,linux内存优化一文中 查看进程mem_map 的实现

    最近有同事在读<>一文,我也看了下,写得不错,满通俗易懂的,但是其中关于 进程mem map 显示的东西,好象没提供,我搜了下只找到个显示全部mem map 的,于是自己写了一个, 虽然代 ...

  2. linux系统运行MapReduce程序报错:exitCode 127

    linux系统运行MapReduce程序报错:exitCode 127 hadoop mapreduce 出现 /bin/bash: /bin/java: No such file or direct ...

  3. linux进程笔记,Linux自学笔记——linux进程及作业管理

    内核的功用主要有进程管理.文件系统.网络功能.内存管理.驱动程序.安全功能这几个方面,本文主要讨论linux进程及作业管理. 进程管理: 进程,process,运行中程序的一个副本,且存在生命周期: ...

  4. 使用Eclipse编译运行MapReduce程序 Hadoop2.6.0/Ubuntu

    上篇介绍了使用命令行编译打包运行自己的MapReduce程序,使用 Eclipse 更加方便.要在 Eclipse 上编译和运行 MapReduce 程序,需要安装 hadoop-eclipse-pl ...

  5. Hadoop+eclipse运行MapReduce程序

    前面,我们已经通过eclipse下安装Hadoop的插件配置好了基于Hadoop+eclipse的MapReduce开发环境.现在,我们在这个Hadoop+eclipse环境下运行MapReduce程 ...

  6. Linux:如何在后台运行一个程序?

    我写了一个程序 xcutsvr,希望在后台运行,以便我退出登录时还能再服务器继续运行. setsid 运行如下命令: $ setsid xcutsvr 之后退出登录,程序仍在运行.重新登录进去,用 p ...

  7. 嵌入式Linux上没有x-window系统环境运行qt程序的方法

    在linux上运行应用程序需要x-window桌面环境的支持,一般在最小linux内核里是不具备这个东西的,但是QT的特性是跨平台,只需要加上"qws"参数就可以了 如: ./ap ...

  8. Linux下如何编译并运行C程序

    2017-6-26 源代码(test.cpp) #include<stdio.h> int main(int argc,char **argv) {printf("%d\n&qu ...

  9. Linux进程 管理,Linux进程查看与管理以及作业控制

    Linux进程查看与管理 静态结构:重底层开始往上 底层:硬件 kernel(OS):各硬件接口封装成简洁的接口 库:将内核功能封装成功能模块,供程序员研发使用 OS的基本功能:文件系统.网络功能.进 ...

最新文章

  1. 点分十进制IP校验、转换,掩码校验
  2. go python php_php 、go 、python http请求(get和post)
  3. 手机经常提示找不到服务器,为什么我的手机显示无法连接到服务器
  4. J .U.C 中的原子操作类
  5. php有哪些高级扩展,php扩展有哪些
  6. django-演练-英雄-作品-对应关系
  7. 安装Ubuntu nginx及其配置安装Php
  8. maven项目在pom.xml中设置JDK编译版本
  9. scilab和matlab的区别,matlab 与scilab的比较.doc
  10. 中九天线调节经验总结
  11. winform 拖动无边框窗体(调用Windows API)
  12. FileZilla Server与FileZilla Client
  13. iOS之healthKit
  14. 计算机评课用语不足与建议,信息技术评课要点
  15. fastJson≤1.2.80漏洞修复
  16. Unity2019最新ECS架构开发MMO游戏笔记更新计划
  17. php转义和反转,PHP转义,反转义
  18. jmeter性能测试之分布式
  19. 关于接口的基础到进阶你要知道的知识
  20. 大连理工大学计算机学院院长,谭国真

热门文章

  1. java启动应用_java 学习:在java中启动其他应用,由jenkins想到的
  2. mysql crash定位分析_MySQL实例crash的案例详细分析
  3. MySQL 视图简析
  4. Java求数组元素的最大和最小值
  5. html怎么设计自己的网页,求一份自己设计的简单网页 HTML格式
  6. java中函数过载,Java继承中成员方法的overload(重载/过载)
  7. 【OpenCV 例程200篇】41. 图像的灰度变换(灰度级分层)
  8. php web教程视频教程下载,Web全栈 PHP+React系列视频教程下载
  9. php mysql 统计_PHP和MySQL实现优化统计每天数据
  10. access inner join 数据类型不匹配_用Access开发生产管理系统