livy 集成kerberos

因为griffin需要安装livy组件的支持，所以需要安装livy提交spark任务。

安装livy

（1）下载apache livy 下载地址：https://github.com/apache/incubator-livy/releases/tag/v0.7.0-incubating

（2）解压 unzip apache-livy-0.7.0-incubating-bin.zip

（3）修改配置文件conf/livy-env.sh,加入hadoop_home,spark_home,Hadoop_conf_dir,spark_conf_dir如下图所示（我的是CDH6.2的其他版本根据具体情况修改）

（4）修改conf/livy.conf

修改为yarn提交方式

以kerberos方式提交

注意livy.server.auth.kerberos.principal的值应该为HTTP/hostname@RelaName的方式，查看源码可以看到livy使用的hadoop的AuthenticationFilter类作为代理的类，在类中调用了KerberosAuthenticationHandler类权限认证，在该类初始化方法init中有这样一段程序，如图所示：

（4）修改hadoop配置文件需要修改代理代理值为livy.server.launch.kerberos.principal的值，如图所示我用的是ldapuser作为代理所以需要配置ldapuser的代理权限

（5）启动livy bin/livy-server start（stop停止）

（6）日志查看tail -f logs/livy-livy-server.out当出现下图的Server：started是表示成功（因为我开启了debug模式所以打印较多的日志）

（7）测试验证：

1.浏览器方式：在火狐浏览器配置kerberos支持，kerberos用户登录，输入ip:端口/ui可以看到如下所示的界面。

2.curl的方式：通过kinit或者kinit -kt 的方式登录kerberos，curl --negotiate -u: 'http://ip:8998/sessions'访问

（8）认证问题：

401问题：查看kerberos是否登录，或者使用了不支持kerberos的浏览器，或者ip访问

403问题：如果出现403问题查看用户是否过期，是否使用代理，在HTTP时是否使用HTTP/主机的形式。

（9）其他问题

修改日志级别为debug模式：修改conf/log4j.properties

log4j.rootCategory=DEBUG, console

再通过日志和源码查看问题所在。

livy 集成kerberos相关推荐

HDP安全之集成kerberos/LDAP、ranger；安装部署kerberos；安装Knox；安装LDAP；启动LDAP；验证Knox网关
5.HDP安全之集成kerberos/LDAP.ranger 集成HDP kerberos /LDAP/ranger之前必须先了解为什么要这样做,kerberos/LDAP是用来做身份认证的,rang ...
Ambari2.6.2集成Kerberos
"坑"说明如果 HDP 版本是 2.6.5.Ambari 版本是 2.6.2.2 ,切记与 Kerberos 集成时,注意一下 Kerberos 的版本. Kerberos 版本 ...
报错：Ticket expired while renewing credentials 原因：Hue 集成Kerberos 导致Kerberos Ticket Renewer 起不来
报错:Ticket expired while renewing credentials 原因:Hue 集成Kerberos 导致Kerberos Ticket Renewer 起不来图片: 报错, ...
jcepolicy7.zip linux,HDP安全之集成kerberos/LDAP、ranger（knox自带LDAP）
----------------------目录导航见左上角------------------------------- 环境 HDP 3.0.1.0 (已有) JDK 1.8.0_91 (已有 ...
大数据入门教程，小白快速掌握Hadoop集成Kerberos安全技术
Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证.今天分享的视频教程从零学习Kerberos安全认证机制,并和Hadoop.YARN.HIVE进行集成, ...
hadoop集成kerberos
节点 ip 进程 user master 192.168.1.115 NameNode root slave1 192.168.1.116 DataNode root kdcserver 192.16 ...
CDH集成Kerberos配置
转载自 JavaChen Blog,作者:JavaChen 原文链接地址:http://blog.javachen.com/2014/11/04/config-kerberos-in-cdh-hdfs ...
hive 集成oracle,hive集成kerberos问题1
在hdfs+mapred+impala+kerberos运行正常后,开始测试hive+kerberos.hive0.11之后开始支持kerberos的验证,hive主要有两种访问方式,一种方法是she ...
#Livy配置Kerberos,#调用Hadoop组件,#Java 实现Livy大数据调用,#java拉取hive数据同步到本地
项目场景: 78做java后端的, 让联调大数据, 78做java的都没看过大数据让去做, 又不是没做大数据的人了,而且 nm让做不懂得涨点工资, 发个福利吗? 自己写一个Java程序, 去调用别人L ...

livy 集成kerberos

安装livy

livy 集成kerberos相关推荐

最新文章

热门文章