hiveserver2 kerberos 认证失败
为什么80%的码农都做不了架构师?>>>
故障现象:
最近hiveserver2突然出现了问题,症状表现为,通过beeline无法访问。错误的信息提示,找不到任何TGT。明显和kerberos身份认证有关。
与此同时,hdfs也出现类似的问题。查询hdfs,提示找不到任何TGT。
虽然在多台机器上出现了类似问题,但是服务似乎都是正常的。而且最关键的一件事情是,文件还能够稳定的从交换平台传过来。
如何解决 ?
由于问题出在beeline上,所以还是从beeline入手进行问题分析。
hiveserver2的ldap身份认证,没有问题,仍然可以正常通过beeline访问。
hiveserver2的kerberos身份认证,也不是存在很大问题,主要是beeline访问不了,自己写的客户端还是可以访问的。例如以下这段程序:
package com.pear;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;public class Main {private static String driverName = "org.apache.hive.jdbc.HiveDriver";public static void main(String[] args) throws SQLException {try {Class.forName(driverName);} catch (ClassNotFoundException e) {e.printStackTrace();System.exit(1);}String JDBC_DB_URL = "jdbc:hive2://uatmaster01:10000/default;principal=hive/_HOST@MCIPT.COM;auth=kerberos";Connection con = DriverManager.getConnection(JDBC_DB_URL);Statement stmt = con.createStatement();String sql = "select * from empdata where id=1";ResultSet res = stmt.executeQuery(sql);System.out.println("Running: " + sql);while (res.next()) {System.out.println(res.getString(1));System.out.println(res.getString(2));}res.close();stmt.close();con.close();}}
执行以上程序,需要注意将相关的jar包,都放在classpath里。所有,最好写一个脚本:
for f in /opt/cloudera/parcels/CDH/jars/*.jar; doCLASSPATH=${CLASSPATH}:$f;donejava -cp $CLASSPATH:. -Djavax.security.auth.useSubjectCredsOnly=false com.pear.Main
这样运行时,会提示输入用户名和密码,如果输入正确,则可以正常访问hiveserver2.
或者设置环境变量:
export HADOOP_OPTS='-Djavax.security.auth.useSubjectCredsOnly=false'hdfs dfs -ls /
使用能够impersonate他人的帐户(去core-site.xml里找proxyuser),然后发现列目录也正常了。
转载于:https://my.oschina.net/pearma/blog/1546934
hiveserver2 kerberos 认证失败相关推荐
- java kerberos认证 过期_定位Kerberos 配置常见问题
定位Kerberos配置过程中的问题,可尝试如下步骤,也可学习逗点云的<Kerberos调试系列>课程: 1.使用Kerberos Tray或Kerberos List确认有尝试连接的服务 ...
- CDH 的Kerberos认证配置
2019独角兽企业重金招聘Python工程师标准>>> 最近因为项目需要,需要对用户权限做限制,最终选择了kerberos+sentry+hue模式来管理用户,但是这个kerbero ...
- HDFS配置Kerberos认证
为什么80%的码农都做不了架构师?>>> 本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程,包括 Kerberos 的安装和 Hadoo ...
- 连接端口 配置hive_Zeppelin带有Kerberos认证的Hive解释器的配置
2.zeppelin连接Hive安装配置 zeppelin 版本0.8.2 ,hive版本:3.0.0 2.1.安装启动hive3 略 2.1.配置hiveserver2 如果需要配置zeppelin ...
- CDH kerberos 认证,安全认证
环境 centos 7.4 安装KDC服务 yum -y install krb5-server krb5-libs krb5-auth-dialog krb5-workstation 修改配置文件 ...
- Hadoop集群的kerberos认证
文章转载自http://www.cnblogs.com/easycloud/p/3724437.html 转载主要用于个人学习备查. 环境: OS 版本: Centos6.4 Kerberos版本: ...
- python子进程进行kinit认证_使用kafka-python客户端进行kafka kerberos认证
之前说过python confluent kafka客户端做kerberos认证的过程,如果使用kafka python客户端的话同样也可以进行kerberos的认证,具体的认证机制这里不再描述,主要 ...
- Java API连接Kerberos认证的HBASE
网上关于 Java 代码连接启用了Kerberos认证的HBASE资料很多,但是总感觉不够准确,总是出现各种问题.经过整合网上资料和亲自试验,得出连接成功的最小配置项如下: java.security ...
- OpenTSDB搭建过程(CDH环境,kerberos认证)
写在最前 为什么要写这篇文章: 目前在国内关于OpenTSDB的文章较少,在下因为最近工作需要需要搭建OpenTSDB找到一些文章,但是关于CDH环境的却很少,搭建的时候也遇到不少坑,所以为了避免后面 ...
最新文章
- linux驱动:TI+DM8127+GPIO(一)之应用——报警输入输出
- 科学计算:Python VS. MATLAB (1)----给我一个理由先
- 再介绍一篇Contrastive Self-supervised Learning综述论文
- 从源码角度解析ArrayList.subList的几个坑
- Teradata的通吃法:同时飘忽于AWS和微软Azure之上
- SAP License:新总账的表结构
- 真的,关于 Kafka 入门看这一篇就够了
- jmeter 一个可能引起性能严重下降的断言设置
- func服务器报警显示C,serve_func.c
- 如何解决aar中的第三方依赖无法调用问题
- 原相机怎么设置水印_原相机里面的字体颜色 相机水印字体大小怎么设置
- Unity 3d 中Debug.Log和Print的区别。
- c++ Primer Plus笔记
- 每天一道算法题——拼音翻译成阿拉伯数字(只有数字拼音)
- css标记_保持CSS3代码标记苗条
- Android 系统图标
- 系统栈与用户栈 以及 栈的内部实现
- 记录SEO寄生虫处理过程
- 网络安全与网站安全及计算机安全:如何使用Kali Linux进行Windows计算机操作系统安全演练
- 同样line-height下ios和Android显示不一致的问题