Hadoop、Yarn相关命令简介

HDFS、MapReduce和Yarn并称为Hadoop的核心三大组件，本文着重介绍Hadoop以及Yarn在命令行操作时的相关命令，文中如有不妥之处，欢迎大家及时提出~

一、Hadoop相关基础命令

1、查看Hadoop中的job信息

hadoop job -list

这里会显示一些job id 状态等信息。

2、杀死某个job

hadoop job -kill job_id

3、查看指定路径下的历史日志汇总

hadoop job -history path_name

4、查看指定路径下的历史日志汇总所有信息

hadoop job -history all path_name

二、Yarn相关命令

如果直接运行yarn而不带任何参数，则会打印yarn命令的所有描述：

1、yarn application [options]

2、yarn applicationattempt [options]

3、使用yarn classpath打印需要得到的Hadoop的jar包和所需要的lib包路径

4、yarn container [options]

5、可以使用如下命令运行Yarn代码打成的jar包

yarn jar <jar> [mainClass] args

6、查看已完成程序的日志

yarn logs -applicationId <application ID> [options]

7、yarn node [options]

8、yarn queue [options]

9、使用yarn version打印Hadoop的版本

Hadoop、Yarn相关命令简介相关推荐

Hadoop Yarn常用命令
文章目录 Hadoop Yarn常用命令 1 查看任务 1.1 yarn application -list 1.2 yarn application -list -appStates 1.3 kil ...
linux查看硬件和系统信息的相关命令简介
[root@yufei ~] # uname -a # 查看内核/操作系统/CPU信息的linux系统信息命令 [root@yufei ~] # head -n 1 /et ...
从堆里找回“丢失”的代码相关命令简介
前言在上一篇文章中,我们主要使用了三个命令 !address,s,.writemem 把丢失的代码成功的保存到了文件中.本文简单介绍一下上文用到的这三个命令. windbg 中的地址范围语法很多命 ...
hadoop安装过程命令汇总
命令汇总网络配置: hostname 查看主机名 vi /etc/sysconfig/network 设置主机名 ifconfig ...
Hadoop 生态圈及核心组件简介Hadoop|MapRedece|Yarn
文章目录大数据时代 Hadoop Hadoop概述 Hadoop特性优点 Hadoop国内外应用 Hadoop发行版本 Hadoop集群整体概述 HDFS分布式文件系统传统常见的文件系统数据和元 ...
Hadoop YARN配置参数剖析—RM与NM相关参数
注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患.另外,这些参数均需要在yarn-site.xml中配置. 1. ResourceManager相关配置参数 (1) ...
Hadoop YARN配置（RM与NM）相关参数
配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患.另外,这些参数均需要在yarn-site.xml中配置. 参数默认值描述 yarn.resourcemanager.host ...
Hadoop Yarn RPC远程命令执行
影响范围 Hadoop Yarn RPC 漏洞类型远程命令执行利用条件可未授权访问漏洞概述 2021年11月15日,有安全研究人员披露Hadoop Yarn RPC存在未授权访问漏洞,此漏洞存 ...
Hadoop框架：HDFS简介与Shell管理命令
本文源码:GitHub·点这里 || GitEE·点这里一.HDFS基本概述 1.HDFS描述大数据领域一直面对的两大核心模块:数据存储,数据计算,HDFS作为最重要的大数据存储技术,具有高度的容 ...

Hadoop、Yarn相关命令简介

Hadoop、Yarn相关命令简介相关推荐

最新文章

热门文章