MapReduce单机提交（待稿）

MR 提交方式
源码

提交方式：
1，开发-> jar -> 上传到集群中的某一个节点 -> hadoop jar ooxx.jar ooxx in out
2，嵌入【linux，windows】（非hadoop jar）的集群方式 on yarn
集群：M、R
client -> RM -> AppMaster
mapreduce.framework.name -> yarn //决定了集群运行
conf.set("mapreduce.app-submission.cross-platform","true");
job.setJar("C:\\Users\\Administrator\\IdeaProjects\\msbhadoop\\target\\hadoop-hdfs-1.0-0.1.jar");
//^推送jar包到hdfs
3，local，单机自测
mapreduce.framework.name -> local
conf.set("mapreduce.app-submission.cross-platform","true"); //windows上必须配
1，在win的系统中部署我们的hadoop：
C:\usr\hadoop-2.6.5\hadoop-2.6.5
2，在我给你的资料中\hadoop-install\soft\bin 文件覆盖到你部署的bin目录下
还要将hadoop.dll 复制到 c:\windwos\system32\
3，设置环境变量：HADOOP_HOME C:\usr\hadoop-2.6.5\hadoop-2.6.5

IDE -> 集成开发：
hadoop最好的平台是linux
部署hadoop，bin

参数个性化：
GenericOptionsParser parser = new GenericOptionsParser(conf, args); //工具类帮我们把-D 等等的属性直接set到conf，会留下commandOptions
String[] othargs = parser.getRemainingArgs();

转载于:https://www.cnblogs.com/littlepage/p/11240513.html

MapReduce单机提交（待稿）相关推荐

【Debug跟踪Hadoop3.0.0源码之MapReduce Job提交流程】第三节 Job提交前的初始化
[Debug跟踪Hadoop3.0.0源码之MapReduce Job提交流程]第三节 Job提交前的初始化回顾 Job提交前的初始化后记跳转回顾上一节中我们对 jobSubmitter(提 ...
Mapreduce 任务提交源码分析1
2019独角兽企业重金招聘Python工程师标准>>> 提交过程一般我们mapreduce任务是通过如下命令进行提交的 $HADOOP_HOME/bin/hadoop jar $M ...
hadoop大数据——mapreduce程序提交运行模式及debug方法
本地运行模式 (1)mapreduce程序是被提交给LocalJobRunner在本地运行 (2)而处理的数据及输出结果可以在本地文件系统,也可以在hdfs上怎样实现本地运行?:写一个程序,不要带集 ...
中创股份在科创板提交上会稿：计划募资6亿元，景新海为董事长
12月8日,山东中创软件商用中间件股份有限公司(下称"中创股份")在上海证券交易所科创板提交招股书(上会稿).相较于此前招股书,中创股份补充了截至2022年9月30日的财务数据等信 ...
kerberos 环境 MapReduce 跨平台提交
配置文件 cdh yarn界面下载客户端配置文件下载后放在代码的conf目录中,下载krb5.conf与keytab文件放入conf文件夹中,如下: 代码结构 pom文件 <?xml vers ...
mapreduce作业提交源码解读（创建不同模式下的runner、在工作区间生成切片规划文件和配置文件后提交）
文章目录 1.判断作业状态是否为DEFINE后,调用submit方法 1.1 再次确认作业状态,使用新api 1.2 创建连接(不同执行模式,创建不同的runner) 1.3 获取提交器对 ...
MapReduce作业提交到YARN上运行的步骤
hadoop jar 包名类名输入参数1 输入参数2 - [hadoop@hadoop000 lib]$ hadoop jar hadoop-train-v2-1.0.jar com.imooc. ...
Spark任务提交至YARN运行的3种方式与Mapreduce提交任务的几种形式
一: Spark任务提交至YARN运行的3种方式 Spark作为新一代计算平台的闪亮明星,在我们的大数据平台中具有非常重要的作用,SQL查询.流计算和机器学习等场景都能见到它的身影,可以说平台应用的数 ...
什么是Hadoop - HDFS - MapReduce - YARN - HA
Hadoop 为什么要有Hadoop? 从计算机诞生到现今,积累了海量的数据,这些海量的数据有结构化.半结构化.非结构的数据,并且这些海量的数据存储和检索就成为了一大问题. 我们都知道大数据技术难题 ...

MapReduce单机提交（待稿）

MapReduce单机提交（待稿）相关推荐

最新文章

热门文章