Ranger-Hdfs插件安装
Ranger-Hdfs插件ranger-0.6.0-hdfs-plugin安装到Hdfs的所有NameNode节点,
其他的DataNode节点不需要安装。
1.
登陆hdfs安装的用户,hdfs/zdh1234(用户组hadoop),获取安装包解压安装
tar –zxvf ranger-0.6.0-hdfs-plugin.tar.gz
vi install.properties
修改的参数如下:
POLICY_MGR_URL=http://10.43.159.245:6080
REPOSITORY_NAME=hadoopdev
CUSTOM_USER=hdfs
CUSTOM_GROUP=hadoop
创建软连接,软连接的作用类似于环境变量:
需要把Hadoop的配置文件conf放到/home/hdfs/hadoop/conf下面:
ln -s /home/hdfs/hadoop-2.7.1/etc/hadoop/ /home/hdfs/hadoop/conf
再建立hadoop的lib包到/home/hdfs/hadoop/lib的软连接:
ln -s /home/hdfs/hadoop-2.7.1/share/hadoop/hdfs/lib/ /home/hdfs/hadoop/lib
使用root用户执行如下脚本安装Ranger HDFS Plugin:
./enable-hdfs-plugin.sh
创建完成后,需要重新启动hdfs才能使插件生效。
2.
Ranger-Admin里注册hdfs plugin的服务
HDFS新建Service,修改如下
Service Name = hadoopdev
UserName = hdfs
Password = zdh1234
NameNodeURL = hdfs://10.43.159.240:9000
然后点击TestConnection,成功即可保存。
关掉all-path策略,给hdfs对/usr目录的只读权限
插件拉取策略本地缓存,文件存在则拉取成功:
/etc/ranger/hadoopdev/policycache/hdfs_hadoopdev.json
可以查看日志:hadoop-hdfs-namenode-zdh-245.log
2016-10-21 08:47:19,696 INFO org.apache.ranger.plugin.util.PolicyRefresher: PolicyRefresher(serviceName=hadoopdev): found updated version. lastKnownVersion=3; newVersion=4
LoginSessions里面可以看到后台从zdh-245的rangerusersync用户登入的记录.
将zdh245上面的hadoop和ranger-0.6.0-hdfs-plugin复制到zdh240等其他hadoop的集群
同上创建hadoop的软连接
scp -r hdfs@zdh-245:/home/hdfs/ranger-0.6.0-hdfs-plugin .
注意:有可能只需要把hdfs-plugin安装到hadoop的NameNode,未验证
实际安装时,对应DataNode安装了hdfs-plugin,但实际没有拉取策略,故怀疑不用安装hdfs-plugin到DataNode节点。
3.关闭Ranger HDFS Plugin
使用root执行,需要在zdh-240和zdh-245两个NameNode上面执行
./disable-hdfs-plugin.sh
重启hadoop使修改生效
目前测试结果disable无效,把集群的5个点都使用root用户disable了,然后重启。
确认位脚本问题,需要修改。
4.验证:
hdfs@zdh-245
hadoop fs -ls /usr
hadoop fs -mkdir /usr/new
hdfs用户是hadoop的安装用户,可能无法控制权限。
./hadoop fs -rm -r /usr/new*
使用mysql用户
export JAVA_HOME=/home/hdfs/jdk1.7.0_80
mysql@zdh-245:/home/hdfs/hadoop-2.7.1/bin> ./hadoop fs -mkdir /usr/new13
16/10/21 11:22:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
mkdir: Permission denied: user=mysql, access=WRITE, inode="/usr/new13":hdfs:supergroup:drwxr-xr-x
mysql@zdh-245:/home/hdfs/hadoop-2.7.1/bin> ./hadoop fs -mkdir /usr/new13
16/10/21 11:24:52 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
设置/usr目录mysql用户可以写之后,原来不能创建文件,现在新建文件,验证权限成功
Ranger-Hdfs插件安装相关推荐
- Ranger-Kafka插件安装
Ranger-Kafka插件安装, 使用Ranger0.7.0版本,集成Kafka插件到Kafka集群, Kafka Plugin需要安装到所有的Kafka的集群节点上面. 1.登陆Kafka的安装用 ...
- Ranger-Kylin插件安装
Ranger-Kylin插件安装, 从Ranger1.1.0版本开始支持Ranger Kylin插件, 从Kylin2.3.0版本开始支持Ranger Kylin插件的权限控制. 1.获取安装包 sc ...
- Ranger-Sqoop2插件安装
Ranger-Sqoop2插件安装,基于Ranger版本1.0.0,支持Sqoop2版本1.99.7. 1.获取安装包 scp root@10.43.159.11:/home/compile/rang ...
- vue-devTools插件安装流程
vue-devTools插件安装流程 本文主要介绍 vue的调试工具 vue-devtools 的安装和使用 工欲善其事, 必先利其器, 快快一起来用vue-devtools来调试开发你的vue项目吧 ...
- Android Eclipse之Git插件安装、配置、提交、修改、冲突、查看历史、覆盖。
为什么80%的码农都做不了架构师?>>> 首先进入eclipse插件安装功能页面,这个就不多说了,下面给出截图,如果不会的也不必往下看了. 安装Git 一:Eclipse工具栏 ...
- MyEclipse插件安装
一.安装方法: 方法一.如果可以上网可在线安装 1. 打开Myeclipse,在菜单栏中选择Help→Software Updates→Find and Install; 2. 选择Search fo ...
- crx header invalid_解决Chrome插件安装时程序包无效【CRX_HEADER_INVALID】(转载+xPath插件)...
最近安排让协助开发/维护爬虫工具类,主要涉及到网页内容的获取,主要使用python+xPath作为解析库,初次认识,感觉还不错! https://www.w3.org/TR/xpath/all/ ht ...
- jupyter notebook快捷键总结及重要插件安装
1.命令模式 (press Esc to enable) F: find and replace Ctrl-Shift-P: open the command palette Enter: enter ...
- google浏览器插件安装时出错,Package is invalid: CRX HEADER INVALID
google浏览器插件安装时出错,Package is invalid: CRX HEADER INVALID 原文件 将.crx结尾的扩展文件改为rar或zip结尾,变成压缩文件 然后解压这个文件 ...
最新文章
- HDU-6290_奢侈的旅行(Dijstra+堆优化)
- 两道递推公式题的解题报告
- 判断是不是素数python_Python 判断是否为质数或素数的实例
- 同一页面中引入多个JS库产生的冲突解决方案(转)
- 有没有什么好的C++视频教程?
- Intel Core Enhanced Core架构/微架构/流水线 (2) - 代表处理器
- SQL Server 2008 评估期已过解决方法
- C#如何测量字符串的高度宽度和精确取得字符串的高度宽度
- 跨域支持与返回json数据--mvc访问api接口
- 一文详解python的类方法,普通方法和静态方法
- Drool7s kmodule的作用--系列02课
- java编码用gbk还是utf-8_utf-8还是GBK、java的编码问题
- 微信小程序分享朋友圈API限制问题
- 8. 查询表orders——统计各类商品的销售量
- 【云计算的1024种玩法】搭建个人博客
- OSNet 论文翻译
- [MOOC]物联网技术笔记-2.物联网的概念和特征
- 面试-JVM-类加载-类加载器--自定义类加载器-JVM调优
- 飞控学习常见典型问题集QA——无名创新(2022年4月15日)
- 手机号归属地数据导入及查询工具源代码(C++)
热门文章
- Vue和后台交互的方式
- 源码分析:Java对象的内存分配
- Educational Codeforces Round 1(D. Igor In the Museum) (BFS+离线访问)
- 查询无序列表中第K小元素
- CIO应用商业智能技术系统的重构思考
- Castle.ActiveRecord 学与练[3]
- 机器学习中的数学(七)--凸优化的基础知识
- 关于Intel IPP的基本使用方法——参照可设置ipl库
- 汇编语言---冒泡法排序
- cwyw不是有效的加载项_ADAS/AD开发09 - UDS与引导加载程序