四、MapReduce常用Shell操作

4.1、MapReduce常用Shell

MapReduce Shell 此处指的是可以使用类似shell的命令来直接和MapReduce任务进行交互（这里不严格区分MapReduce shell及Yarn shell）。

提交任务命令：

yarn jar <jar> [mainClass] args...

查看及修改任务命令：

yarn application [options] Usage: yarn app [options]

可选项：

appId ：指定APPlication id
changeQueue ：改变队列
kill ：停止任务
status ：查看任务状态

4.2、常用Shell-任务实例

查看MapReduce可以命令

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar

使用pi计算实例

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar pi

设置参数

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar pi 100 10

然后我们可以获得application的id

通过这个id查看状态

yarn application -status application_1619841871021_0001

我们也可以在浏览器查看这个信息，浏览器端口：master:8088

关闭这个任务：

yarn application -kill application_1619841871021_0001

五、MapReduce任务管理

MapReduce任务日志查看：

5.1、多任务竞争

我们可以通过修改/opt/hadoop-3.1.4/etc/hadoop/下的capacity-scheduler.xml，来同时运行两个任务

cd /opt/hadoop-3.1.4/etc/hadoop/
vi capacity-scheduler.xml

改完后拷贝到其他结点

scp capacity-scheduler.xml node1:/opt/hadoop-3.1.4/etc/hadoop/
scp capacity-scheduler.xml node2:/opt/hadoop-3.1.4/etc/hadoop/
scp capacity-scheduler.xml node3:/opt/hadoop-3.1.4/etc/hadoop/

最后使配置生效

yarn rmadmin -refreshQueues

学习笔记Hadoop（十一）—— Hadoop基础操作（3）—— MapReduce常用Shell操作、MapReduce任务管理相关推荐

学习笔记Hadoop（十）—— Hadoop基础操作（2）—— HDFS常用Shell操作
三.HDFS常用Shell操作 3.1.HDFS文件系统 HDFS Shell 指的是可以使用类似shell的命令来直接和Hadoop分布式文件系统(HDFS)进行交互. 使用命令: bin/hado ...
HFSS学习笔记（一）基础篇操作界面简介和使用前的准备工作
HFSS学习笔记(一)基础篇操作界面简介和使用前的准备工作一.HFSS工作界面简介各区域的功能: 二.设计的步骤 1.创建工程文件 2.进行设计前的准备工作一.HFSS工作界面简介各区域的功 ...
OpenCV学习笔记（十一）（十二）（十三）（十四）（十五）
OpenCV学习笔记(十一)--谈谈像素的类型和对Templates的限制使用 Templates是c++的一个很强大的特征,可以是数据结构更加安全高效.但也会增加编译时间和代码的长度,当函数被频繁调 ...
.net core底层入门学习笔记（十一-JIT编译器）
.net core底层入门学习笔记(十一) 本篇开始记录JIT编译器实现文章目录 .net core底层入门学习笔记(十一) 前言一.JIT编译器介绍二.JIT编译流程 1.JIT编译触发 2. ...
J2EE学习笔记三：EJB基础概念和知识收藏
J2EE学习笔记三:EJB基础概念和知识收藏 EJB正是J2EE的旗舰技术,因此俺直接跳到这一章来了,前面的几章都是讲Servlet和JSP以及JDBC的,俺都懂一些.那么EJB和通常我们所说的Ja ...
java学习笔记15--多线程编程基础2
本文地址:http://www.cnblogs.com/archimedes/p/java-study-note15.html,转载请注明源地址. 线程的生命周期 1.线程的生命周期线程从产生到消亡 ...
eeprom stm8l 擦除读写_STM8L探索套件学习笔记-EEPROM(十一)
原标题:STM8L探索套件学习笔记-EEPROM(十一) 上节将到官方例程使用 EEPROM存储外围电路消耗的电流值,今天我们对 STM8L的EEPROM介绍下.STM8L带有的32K的FLASH和1 ...
Linux 学习笔记之超详细基础linux命令 Part 3
Linux学习笔记之超详细基础linux命令 by:授客 QQ:1033553122 ---------------------------------接Part 2----------------- ...
《Go语言圣经》学习笔记第十一章测试
<Go语言圣经>学习笔记第十一章测试目录 go test 测试函数测试覆盖率基准测试剖析示例函数注:学习<Go语言圣经>笔记,PDF点击下载,建议看书. Go语 ...

学习笔记Hadoop（十一）—— Hadoop基础操作（3）—— MapReduce常用Shell操作、MapReduce任务管理