Ranger-Sqoop2插件安装,基于Ranger版本1.0.0,支持Sqoop2版本1.99.7。

1.获取安装包

scp root@10.43.159.11:/home/compile/ranger/target/ranger-1.0.0-SNAPSHOT-sqoop-plugin.tar.gz .

2.解压

tar -zxvf ranger-1.0.0-SNAPSHOT-sqoop-plugin.tar.gz

3.进入ranger-1.0.0-SNAPSHOT-sqoop-plugin,修改安装配置文件install.properties

主要修改如下配置项:

#拉取Ranger策略的地址和服务名称
POLICY_MGR_URL=http://10.43.159.11:6080
REPOSITORY_NAME=sqoopdev
#Kylin组件安装的目录
COMPONENT_INSTALL_DIR_NAME=/home/sqoop/sqoop-1.99.7-bin-hadoop200#审计日志保存地址
XAAUDIT.SOLR.ENABLE=true
XAAUDIT.SOLR.URL=http://10.43.159.9:8983/solr/ranger_audits#Sqoop组件安装的用户和用户组
CUSTOM_USER=sqoop
CUSTOM_GROUP=hadoop

4.使用root用户执行插件安装脚本

./enable-sqoop-plugin.sh

5.重启sqoop2组件

sqoop2-sever stop
sqoop2-sever start

6.验证策略生效

重启后可以在sqoop的服务器上面看到如下文件:
/etc/ranger/sqoopdev/policycache/sqoop_sqoopdev.json
在Ranger Web页面的Audit下面的Plugins查看插件状态。

Ranger页面创建sqoop服务:
Service Name=sqoopdev
Username=sqoop
Sqoop URL=http://10.43.159.11:12000
用户名最好填写安装用户的名字,此用户默认对sqoop的所有资源有访问权限。
点击TestConnection成功后,保存即可。

sqoopdev需要和上面插件安装的REPOSITORY_NAME名称一致,

Sqoop集成ranger插件,查看conf/sqoop.properties,应该有如下配置:
org.apache.sqoop.security.authorization.validator=org.apache.ranger.authorization.sqoop.authorizer.RangerSqoopAuthorizer

Sqoop插件集成开启Ranger,还将conf目录加入到sqoop启动的classpath中:
在bin/sqoop.sh脚本中的
function sqoop_server_classpath_set里面
新增如下配置:
CLASSPATH="$CLASSPATH":"/home/sqoop/sqoop2/sqoop-1.99.7-bin-hadoop200/conf"

7.开启Kerberos之后的插件问题

7.1

Sqoop2开启Kerberos安全模式后,Ranger Sqoop2插件拉取策略会失败:
2018-09-05 09:34:58,942 [http-bio-6080-exec-6] ERROR org.apache.ranger.rest.ServiceREST (ServiceREST.java:2784) - getSecureServicePoliciesIfUpdated(sqoopdev, 4) failed as User doesn't have permission to download Policy
2018-09-05 09:34:58,947 [http-bio-6080-exec-6] INFO org.apache.ranger.common.RESTErrorUtil (RESTErrorUtil.java:345) - Request failed. loginId=sqoop, logMessage=User doesn't have permission to download policy
解决方法:
在Ranger Admin的Web页面修改sqoopdev服务,
在Add New Configurations添加如下配置项:
policy.download.auth.users=sqoop
sqoop用户为策略拉取用户,一般是Sqoop2组件用了启动Kerberos的用户。

7.2

在已经使用了Ranger权限控制之后,再来开启Kerberos,
需要重新创建sqoopdev服务,否则使用原来的服务TestConnction失败,
这是由于开启Kerberos之后,RangerAdmin使用rangerlookup/hostname@ZDH.COM去访问服务,
在新建服务的时候会把rangerlookup加入到默认创建出来的策略中,作为超级用户使用。

8.参考文档:

https://cwiki.apache.org/confluence/display/RANGER/Sqoop2+Plugin

Ranger-Sqoop2插件安装相关推荐

  1. Ranger-Kafka插件安装

    Ranger-Kafka插件安装, 使用Ranger0.7.0版本,集成Kafka插件到Kafka集群, Kafka Plugin需要安装到所有的Kafka的集群节点上面. 1.登陆Kafka的安装用 ...

  2. Ranger-Kylin插件安装

    Ranger-Kylin插件安装, 从Ranger1.1.0版本开始支持Ranger Kylin插件, 从Kylin2.3.0版本开始支持Ranger Kylin插件的权限控制. 1.获取安装包 sc ...

  3. vue-devTools插件安装流程

    vue-devTools插件安装流程 本文主要介绍 vue的调试工具 vue-devtools 的安装和使用 工欲善其事, 必先利其器, 快快一起来用vue-devtools来调试开发你的vue项目吧 ...

  4. Android Eclipse之Git插件安装、配置、提交、修改、冲突、查看历史、覆盖。

    为什么80%的码农都做不了架构师?>>>    首先进入eclipse插件安装功能页面,这个就不多说了,下面给出截图,如果不会的也不必往下看了. 安装Git 一:Eclipse工具栏 ...

  5. MyEclipse插件安装

    一.安装方法: 方法一.如果可以上网可在线安装 1. 打开Myeclipse,在菜单栏中选择Help→Software Updates→Find and Install; 2. 选择Search fo ...

  6. crx header invalid_解决Chrome插件安装时程序包无效【CRX_HEADER_INVALID】(转载+xPath插件)...

    最近安排让协助开发/维护爬虫工具类,主要涉及到网页内容的获取,主要使用python+xPath作为解析库,初次认识,感觉还不错! https://www.w3.org/TR/xpath/all/ ht ...

  7. jupyter notebook快捷键总结及重要插件安装

    1.命令模式 (press Esc to enable) F: find and replace Ctrl-Shift-P: open the command palette Enter: enter ...

  8. google浏览器插件安装时出错,Package is invalid: CRX HEADER INVALID

    google浏览器插件安装时出错,Package is invalid: CRX HEADER INVALID 原文件 将.crx结尾的扩展文件改为rar或zip结尾,变成压缩文件 然后解压这个文件 ...

  9. Sublime Text 3便携版下载安装和常用插件安装--顺便解决报错An error occured installing和no packages available for install

    文章目录 Sublime Text 3便携版下载安装和常用插件安装 1.Sublime Text 3便携版下载: 2.sublime 插件控制器(Package Control)安装 2.1离线安装P ...

最新文章

  1. CSS之定位(元素的层级z-index)
  2. ORACLE告警日志
  3. mysql sql 连接查询语句_Mysql——sql数据库中的连接查询
  4. oracle导出字符集命令,Oracle数据的导出及导入实现
  5. mybatis学习(3):映射文件的配置和接口创建
  6. 加快android编译速度
  7. 概率论第六章数理统计思维导图_【思维导图】第六章:气体灭火系统
  8. model存数据_数据库内核杂谈 存储
  9. 数据结构与算法(四)-线性表之循环链表
  10. 锐捷客户端linux登录密码忘记,锐捷S3760忘记密码的恢复方法
  11. DTCC参会归来有感
  12. 使用前端方式挑战 Chrome 小恐龙游戏高分
  13. Node.js局域网文件共享
  14. 全网最全编程学习网站汇总
  15. Developer Test-Jquery-常用技巧
  16. 【机器人学习】六足机器人的步态分析与稳定行走(分析报告+matlab代码)
  17. web SEO简单优化
  18. 在SQL Server 2008上遇到了删除作业失败的问题。 547错误
  19. MTK开发之cpu核开关与频率调节
  20. 抖音、快手、B站、小红书,品牌如何选对投放平台?

热门文章

  1. Spring之WebSocket网页聊天以及服务器推送
  2. 原创:Spring整合junit测试框架(简易教程 基于myeclipse,不需要麻烦的导包)
  3. JAVA学生信息管理系统IO流版
  4. [jQuery基础] jQuery核心函数和工具方法
  5. Vuejs 条件判断
  6. JS-节点增删改-document-HTML DOM-事件
  7. vue3.x 自定义事件 emits
  8. R7-7 寻找大富翁 (25 分)
  9. html页面怎么添加打印,在网页中添加打印按钮或链接的方法
  10. php的crypt,php使用crypt()函数进行加密