Hadoop--Yarn常用命令 与 生产环境核心配置参数
写目录
- Yarn常用命令
- 1. yarn application查看任务
- 2. yarn logs查看日志
- 3. yarn applicationattermpt查看尝试运行的任务
- 4. yarn container查看容器
- 5. yarn ndoe查看节点状态
- 6. yarn rmadmin 更新配置
- 7. yarn queue 查看队列
- yarn生产环境核心配置参数
Yarn常用命令
1. yarn application查看任务
执行wordcount案例：
[xiaobai@hadoop102 hadoop-3.2.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount /input /output1
- 列出所有application：
[xiaobai@hadoop102 hadoop-3.2.2]$ yarn application -list
与通过hadoop103:8088页面查看yarn状态一致：
- 根据application状态过滤：yarn application-list-appStates(所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED)
[xiaobai@hadoop102 hadoop-3.2.2]$ yarn application -list -appStates FINISHED
- kill掉application(例如在任务卡死情况下)：
[xiaobai@hadoop102 hadoop-3.2.2]$ yarn application -kill application_1630326119767_0004
tips: 该进程已经完成。
2. yarn logs查看日志
- 查询application日志：
yarn logs -applicationId <ApplicationId>
[xiaobai@hadoop102 hadoop-3.2.2]$ yarn logs -applicationId application_1630326119767_0003
- 查询Container日志：
yarn logs -applicationId <ApplicationId> -container <ContainerId>
[xiaobai@hadoop102 hadoop-3.2.2]$ yarn logs -applicationId application_1630326119767_0003 -containerId container_1630326119767_0003_01_000001
3. yarn applicationattermpt查看尝试运行的任务
- 列出所有application尝试的列表：
yarn applicationattempt -list <ApplicationId>
[xiaobai@hadoop102 hadoop-3.2.2]$ yarn applicationattempt -list application_1630326119767_0003
- 打印ApplicationAttempt状态：
yarn applicationattempt -status <ApplicationAttemptId>
[xiaobai@hadoop102 hadoop-3.2.2]$ yarn applicationattempt -status appattempt_1630326119767_0003_000001
4. yarn container查看容器
- 列出所有container：
yarn container -list <ApplicationAttemptId
[xiaobai@hadoop102 hadoop-3.2.2]$ yarn container -list appattempt_1630326119767_0003_000001
- 打印container状态：
yarn container -status <ContainerId>
[xiaobai@hadoop102 hadoop-3.2.2]$ yarn container -status container_1630326119767_0003_01_000001
tips:
只有在任务运行过程中才可以查看到container状态，因为容器运行完成后就会立即释放掉。
5. yarn ndoe查看节点状态
列出所有节点：yarn node -list -all
[xiaobai@hadoop102 hadoop-3.2.2]$ yarn node -list -all
6. yarn rmadmin 更新配置
加载队列配置：yarn rmadmin -refreshQueues
[xiaobai@hadoop102 hadoop-3.2.2]$ yarn node -list -all
tips: 对队列进行相关配置，无需重启集群即可进行刷新队列，若是更改yarn-site.xml需重启集群！
7. yarn queue 查看队列
打印队列信息：yarn queue -status <QueueName>
[xiaobai@hadoop102 hadoop-3.2.2]$ yarn queue -status default
也可通过hadoop103:8088页面查看：
yarn生产环境核心配置参数
tips: 可在配置参数前拍摄Linux快照，后续可通过恢复快照回到配置前状态。
推荐查看《Hadoop权威指南》！
Hadoop--Yarn常用命令 与 生产环境核心配置参数相关推荐
- Hadoop Yarn生产环境核心配置参数
- Hadoop Yarn常用命令
文章目录 Hadoop Yarn常用命令 1 查看任务 1.1 yarn application -list 1.2 yarn application -list -appStates 1.3 kil ...
- 大数据之-Hadoop3.x_Yarn_生产环境核心参数配置案例---大数据之hadoop3.x工作笔记0150
然后我们来,看个配置yarn 生产环境核心参数的案例 首先我们的需求就是,我们要统计1G数据中,每个单词出现的次数. 我们有3台服务器,然后每台配置4G,4核cpu,4线程.可以看到 然后就是去配置y ...
- yarn 常用命令(干干货!)
yarn 常用命令 yarn安装 依赖包安装 卸载依赖包 初始化一个新项目 安装项目 打包项目 运行项目 yarn安装 npm install yarn 依赖包安装 yarn add package ...
- 【大数据开发运维解决方案】hadoop fs常用命令案例解释
文章目录 前言 一.hadoop fs常用命令参数列表 二.案例展示 hadoop fs -mkdir hadoop fs -ls hadoop fs -put hadoop fs -get hado ...
- Django开发环境与生产环境的配置
项目实际开发过程中需要区分开发环境与生产环境 获取环境数值 ENV_PROFILE = os.getenv("ENV") 通过获取到的ENV_PROFILE来区别开发环境与生产环境 ...
- linux查询数据库oracle端口,Oracle数据库常用命令、Linux监听配置、oracle linux下开放1521端口...
Oracle数据库常用命令.Linux监听配置.oracle linux下开放1521端口 时间:2020-02-14 来源: 一.Linux下Oracle数据库常用命令 oracle用户下执行: $ ...
- 安装jdk配置环境、cmd命令行测试环境变量配置是否正确及运行java程序、安装IDEA编写代码测试
文章目录 1.安装jdk配置环境 2.cmd命令行测试环境变量配置是否正确及运行java程序 3.安装IDEA编写代码测试 1.安装jdk配置环境 首先打开官网Oracle https://www.o ...
- CC00042.CloudKubernetes——|KuberNetes二进制部署.V20|5台Server|——|kubernetes配置|生产环境关键性配置|
一.生产环境关键性配置 ### --- docker参数配置--所有节点 ~~~ docker参数:所有节点都需要更改.[root@k8s-master01 ~]# vim /etc/docker/d ...
最新文章
- java游戏加入图片,急！急！求大神给这个小游戏加个背景图片
- Spring中ThreadPoolTaskExecutor的线程调度及问题
- 黑客暗网叫卖Zoom账号密码，1分钱能买71个，加密大佬教袁征做人，17年前开源软件现在又火了...
- 当前主流、最新技术回眸（四）
- PWN学习总结（四）—— BROP
- maven配置国内阿里云镜像
- spring3: Aspectj后置返回通知
- 【Error】Less-loader 版本过高，TypeError: this.getOptions is not a function
- 10月26日练习注册用例的编写与ibatis培训
- 小辣椒手机创始人王晓雁加入小米；手机 QQ 可显示对方实时电量；Git Extensions 3.3.1 发布 | 极客头条...
- 金蝶kis商贸采购单商品代码_金蝶KIS商贸高级版操作常见问题解答
- php中的str replace,PHP字符串替换str_replace()函数4种用法详解
- AI(人工智能)的英文全称?AI指什么,包含什么?
- 如何理解移动侦测录像与人体红外感应
- 2018.12.4 王二的经济学故事 DYNASTIES
- 常见的java开发面试题整理
- Origin 正版模拟城市5 警告 您使用《模拟城市》产品码不支援目前选取的语言。请连络顾客支援以获得详情。
- 淘宝/天猫图片识别商品接口，1688图片识别商品API接口
- 人口危机 资本剥削导致生育率低迷
- 检查凭证录入模板的核算项目研发项目是否录入