YARN动态资源池配置案例
EDH作为统一的企业级数据中心,往往是一个多租户的应用环境。在该环境中,不同用户会同时使用集群资源。如何保证用户数据不被任意篡改?如何保证任务的权限控制 (例如用户A不能任性地取消用户B的任务)?如何确保用户资源使用不超过他们的配额?
# 增加用户组 [root]$ groupadd cloudera-dev # 增加用户 [root]$ useradd -g cloudera-dev cloudera-dev # 查看用户 cloudera-dev 所属的所有组 [root]$ groups cloudera-dev # Hadoop 创建相应的用户目录 |
[root]$ su cloudera-dev [cloudera-dev]$ echo "Hello World Bye World" > file0 [cloudera-dev]$ echo "Hello Hadoop Goodbye Hadoop" > file1 [cloudera-dev]$ hdfs dfs -mkdir -p /user/cloudera-dev/wordcount/input [cloudera-dev]$ hdfs dfs -put file* /user/cloudera-dev/wordcount/input [cloudera-dev]$ hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.jar wordcout wordcount/input wordcount/output [cloudera-dev]$ hdfs dfs -getmerge wordcount/output output.txt [cloudera-dev]$ cat output.txt Bye 1 Hadoop 2 Hello 2 Goodbye 1 World 2 |
[root]$ hadoop jar wordcount-0.9.0.jar com.cloudera.example.WordCount -Dmapreduce.job.queuename=dev wordcount/input wordcount/output ... Exception in thread "main" java.io.IOException: Failed to run job: User root cannot submit applications to queue root.dev ... |
[cloudera-dev]$ hadoop jar wordcount-0.9.0.jar com.cloudera.example.WordCount -Dmapreduce.job.queuename=dev wordcount/input wordcount/output ... |
[root]$ hadoop job -list ... |
[root]$ hadoop job -kill job_1421512955131_0006 ... Exception in thread "main" java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Java.security.AccessControlException: User root cannot perform operation MODIFY_APP on application_1421512955131_0006 ... |
[root]$ useradd -g cloudera-dev alex |
[cloudera-dev]$ hadoop jar wordcount-0.9.0.jar com.cloudera.example.WordCount -Dmapreduce.job.queuename=dev wordcount/input wordcount/output ... |
[alex]$ hadoop job -list ... |
[alex]$ hadoop job -kill job_1421512955131_0006 ... INFO impl.YarnClientImpl: Killed application application_1421512955131_0006 Killed job job_1421512955131_0006 ... |
YARN动态资源池配置案例相关推荐
- CDH中yarn的动态资源池配置
CDH中yarn的动态资源池的相关配置 一.CDH Yarn资源队列划分管理 场景:根据不同项目或不同用户,对yarn资源队列进行划分,达到资源管控,任务管控的目的CDH版本:6.2.0 1.1配置 ...
- CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源
公平调度配置可参考:http://datamining.blog.csdn.net/article/details/94554469 目录 计划模式设置 队列资源抢占分配 计划模式设置 1.创建计划规 ...
- 动态LACP配置案例
网络拓扑 各配置 R1配置: <Huawei> u t m <Huawei>system-view [Huawei]sys R1 [Huawei]int eth-trunk 1 ...
- CDH中yarn的动态资源池的相关配置
CDH Yarn资源队列划分管理 场景:根据不同项目或不同用户,对yarn资源队列进行划分,达到资源管控,任务管控的目的 CDH版本:5.15.2 配置: 1 yarn资源队列参数设置: (1)yar ...
- GRE 隧道配置案例(静态、动态路由)
把键盘上的H&M扣下来扔了.也算是抵制了吧? GRE VPN 配置案例 要求 拓扑 配置 基础配置 GRE VPN配置 配置路由 验证 Keeplive GRE VPN GRE核心功能:建立隧 ...
- 网络工程师学习参考资料路由器配置案例分析
网络工程师学习参考资料路由器配置案例分析 2006-08-30 23:01:00 标签:配置 路由器 案例 网络工程师 [推送到技术圈] INTERNET共享资源的方式越来越多,就大多数而言,DDN专 ...
- ZooKeeper动态重新配置
ZooKeeper动态重新配置 概观 配置格式的更改 指定客户端端口 standaloneEnabled标志 reconfigEnabled标志 动态配置文件 向后兼容性 升级到3.5.0 动态重新配 ...
- IPSec隧道配置案例(手动模式)
IPSec有点难需要掌握他的逻辑及框架然后就简单了 网络攻城狮眼里的烟花! IPSec VPN 配置案例 要求 拓扑 配置 基础配置 IPSec VPN配置 分析原因 解决方法 IPSec VPN I ...
- GRE over IPSec 隧道配置案例
我也想要一个美女老师教我学习网络. GRE over IPSec 配置案例 要求 拓扑 配置 基础配置 GRE VPN配置 配置路由 IPSec配置 GRE over IPSec 技术背景 工作流程 ...
- IGRP原理及配置案例
一.简介 IGRP (Interior Gateway Routing Protocol)是一种动态距离向量路由协议,它由Cisco公司八十年代中期设 计.使用组合用户配置尺度,包括延迟.带宽.可靠性 ...
最新文章
- PARSEC測试集的应用领域和working set的大小
- 以太网与802.3,wifi与802.11的关系
- [收藏转载]C# GDI+ 简单绘图(一)
- python子类继承父类特性,pycharm上面已经提示继承了,为什么会报没有该特性的错误?
- java字符串剪切函数,java用substring函数截取string中一段字符串,substringstring
- 懒省事的小明(优先队列)
- 百度DuerOS与高通合推手机语音交互解决方案,谁会欢喜谁要愁?
- [Python]学习基础篇:面向对象编程
- 51汇编与c语言混合编程,C51与汇编混合编程详解
- vue2饿了吗之路第一篇:开发环境准备
- Hearing Range
- java2实用教程第五版耿祥义电子版_Java2实用教程(第5版)答案 耿祥义、张跃平
- rtmp直播推流软件推荐
- 打开和关闭 Oralce PDB数据库
- phpunit学习第一章
- Weighted average
- “75后”院士,任顶级大学副校长
- 妹子找你修电脑,按照这几步操作,你就是黑客大佬!
- 今日金融词汇---基本面分析
- mysql数据库学习之sql调优思路
热门文章
- 阿里云域名备案与服务器tomcat非80端口绑定
- 生物信息学中用到的计算机知识,生物信息学期末复习知识点总结
- 中国最好的产品经理100人
- UnityShader 基于物理的体积光(丁达尔光线)
- [阿里云] 域名解析设置
- 机器学习时代三大神器GBDT(MART)、XGBoost、LightGBM
- C语言程序判断一个数是否是素数,C语言中怎么判断一个数是否是素数(即质数)...
- 微信模板消息html,微信推送模板消息,偶发出现报错errcode
- 30【源码】数据可视化大屏:基于 Echarts + Python Flask 实现的32-9超宽大屏 - 中国国际疫情实时追踪
- SpringBoot+Vue实现前后端分离的旅游推荐网站