MR程序的几种提交运行模式

本地模型运行

1/在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行

----配置path：D:\hadoop-2.7.2\bin

----配置hadoop_home：D:\hadoop-2.7.2

----复制 hadoop.dll和winutils.exe 到hadoop/bin文件夹下

下载地址,注意版本：http://download.csdn.net/detail/u014310430/8402965

----输入输出数据可以放在本地路径下（c:/wc/srcdata/）
----输入输出数据也可以放在hdfs中(hdfs://hello110:9000/wc/srcdata)

2/在linux的eclipse里面直接运行main方法，但是不要添加yarn相关的配置，也会提交给localjobrunner执行
----输入输出数据可以放在本地路径下（/home/hadoop/wc/srcdata/）
----输入输出数据也可以放在hdfs中(hdfs://hello110:9000/wc/srcdata)

集群模式运行

1【推荐的方法】/将工程打成jar包，上传到服务器，然后用hadoop命令提交 hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner

http://blog.csdn.net/zengmingen/article/details/51152001

2/在linux的eclipse中直接运行main方法，也可以提交到集群中去运行，但是，必须采取以下措施：
----在工程src目录下加入 mapred-site.xml 和 yarn-site.xml
----将工程打成jar包(wc.jar)，同时在main方法中添加一个conf的配置参数　conf.set("mapreduce.job.jar","wc.jar");

3/在windows的eclipse中直接运行main方法，也可以提交给集群中运行，但是因为平台不兼容，需要做很多的设置修改

----要在windows中存放一份hadoop的安装包（解压好的）
----要将其中的lib和bin目录替换成根据你的windows版本重新编译出的文件
----再要配置系统环境变量 HADOOP_HOME 和 PATH
----修改YarnRunner这个类的源码

MR程序的几种提交运行模式相关推荐

Hadoop系列（三）MapReduce Job的几种提交运行模式
Job执行可以分为本地执行或者集群执行.hadoop集群安装部署在远程centos系统中.使用经典的WordCount代码为例. 1. 本地执行模式(本地为MacOS环境),无需启动远程的hadoop ...
hadoop大数据——mapreduce程序提交运行模式及debug方法
本地运行模式 (1)mapreduce程序是被提交给LocalJobRunner在本地运行 (2)而处理的数据及输出结果可以在本地文件系统,也可以在hdfs上怎样实现本地运行?:写一个程序,不要带集 ...
Windows下Eclipse提交MR程序到HadoopCluster
作者:Syn良子出处:http://www.cnblogs.com/cssdongl 欢迎转载,转载请注明出处. 以前Eclipse上写好的MapReduce项目经常是打好包上传到Hadoop测试集 ...
gRPC 的 4 种基础通信模式
题图 | from freepik 本文将讨论 gRPC 应用程序的 4 种基础通信模式:一元 RPC.服务器端流 RPC.客户端流 RPC 以及双向流 RPC.在这个过程中,我们会使用一些真实用例 ...
java dtu 采集程序_一种物联网用DTU数据采集方法与流程
本发明涉及物联网的技术领域,特别是DTU数据采集的技术领域. 背景技术: 联网是一种新兴的概念,要实现物联网需要大量的数据进行支持,这就不可避免的需要对各种数据接收.发送.处理.现有的数据采集方式较为 ...
spark的三种运行模式以及yarn-client和yarn-cluster在提交命令上的区别
本文针对的是Spark 2.3.1 standalone:线下模式分为standalone-client和standalone-cluster两种模式 yarn:线上模式又分为yarn-clien ...
matlab安装程序无法启动jvm_天呀！JVM居然还有2两种运行模式
概述 JVM有两种运行模式Server与Client.两种模式的区别在于,Client模式启动速度较快,Server模式启动较慢:但是启动进入稳定期长期运行之后Server模式的程序运行速度比Clie ...
spark sql 本地调试_Spark精华问答｜Spark的三种运行模式有何区别？
戳蓝字"CSDN云计算"关注我们哦! Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右,是hadoop的升级版本,Hadoop作为第 ...
Spark精华问答 | Spark的三种运行模式有何区别？
戳蓝字"CSDN云计算"关注我们哦! Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右,是hadoop的升级版本,Hadoop作为第 ...

MR程序的几种提交运行模式

本地模型运行

集群模式运行

MR程序的几种提交运行模式相关推荐

最新文章

热门文章