为什么80%的码农都做不了架构师?>>>   

故障现象:

最近hiveserver2突然出现了问题,症状表现为,通过beeline无法访问。错误的信息提示,找不到任何TGT。明显和kerberos身份认证有关。

与此同时,hdfs也出现类似的问题。查询hdfs,提示找不到任何TGT。

虽然在多台机器上出现了类似问题,但是服务似乎都是正常的。而且最关键的一件事情是,文件还能够稳定的从交换平台传过来。

如何解决 ?

由于问题出在beeline上,所以还是从beeline入手进行问题分析。

  1. hiveserver2的ldap身份认证,没有问题,仍然可以正常通过beeline访问。

  2. hiveserver2的kerberos身份认证,也不是存在很大问题,主要是beeline访问不了,自己写的客户端还是可以访问的。例如以下这段程序:

        package com.pear;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;public class Main {private static String driverName = "org.apache.hive.jdbc.HiveDriver";public static void main(String[] args) throws SQLException {try {Class.forName(driverName);} catch (ClassNotFoundException e) {e.printStackTrace();System.exit(1);}String JDBC_DB_URL = "jdbc:hive2://uatmaster01:10000/default;principal=hive/_HOST@MCIPT.COM;auth=kerberos";Connection con = DriverManager.getConnection(JDBC_DB_URL);Statement stmt = con.createStatement();String sql = "select * from empdata where id=1";ResultSet res = stmt.executeQuery(sql);System.out.println("Running: " + sql);while (res.next()) {System.out.println(res.getString(1));System.out.println(res.getString(2));}res.close();stmt.close();con.close();}}
    

    执行以上程序,需要注意将相关的jar包,都放在classpath里。所有,最好写一个脚本:

     for f in /opt/cloudera/parcels/CDH/jars/*.jar; doCLASSPATH=${CLASSPATH}:$f;donejava -cp $CLASSPATH:. -Djavax.security.auth.useSubjectCredsOnly=false  com.pear.Main
    

    这样运行时,会提示输入用户名和密码,如果输入正确,则可以正常访问hiveserver2.

    或者设置环境变量:

     export HADOOP_OPTS='-Djavax.security.auth.useSubjectCredsOnly=false'hdfs dfs -ls /
    

    使用能够impersonate他人的帐户(去core-site.xml里找proxyuser),然后发现列目录也正常了。

转载于:https://my.oschina.net/pearma/blog/1546934

hiveserver2 kerberos 认证失败相关推荐

  1. java kerberos认证 过期_定位Kerberos 配置常见问题

    定位Kerberos配置过程中的问题,可尝试如下步骤,也可学习逗点云的<Kerberos调试系列>课程: 1.使用Kerberos Tray或Kerberos List确认有尝试连接的服务 ...

  2. CDH 的Kerberos认证配置

    2019独角兽企业重金招聘Python工程师标准>>> 最近因为项目需要,需要对用户权限做限制,最终选择了kerberos+sentry+hue模式来管理用户,但是这个kerbero ...

  3. HDFS配置Kerberos认证

    为什么80%的码农都做不了架构师?>>>    本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程,包括 Kerberos 的安装和 Hadoo ...

  4. 连接端口 配置hive_Zeppelin带有Kerberos认证的Hive解释器的配置

    2.zeppelin连接Hive安装配置 zeppelin 版本0.8.2 ,hive版本:3.0.0 2.1.安装启动hive3 略 2.1.配置hiveserver2 如果需要配置zeppelin ...

  5. CDH kerberos 认证,安全认证

    环境 centos 7.4 安装KDC服务 yum -y install krb5-server krb5-libs krb5-auth-dialog krb5-workstation 修改配置文件  ...

  6. Hadoop集群的kerberos认证

    文章转载自http://www.cnblogs.com/easycloud/p/3724437.html 转载主要用于个人学习备查. 环境: OS 版本: Centos6.4 Kerberos版本: ...

  7. python子进程进行kinit认证_使用kafka-python客户端进行kafka kerberos认证

    之前说过python confluent kafka客户端做kerberos认证的过程,如果使用kafka python客户端的话同样也可以进行kerberos的认证,具体的认证机制这里不再描述,主要 ...

  8. Java API连接Kerberos认证的HBASE

    网上关于 Java 代码连接启用了Kerberos认证的HBASE资料很多,但是总感觉不够准确,总是出现各种问题.经过整合网上资料和亲自试验,得出连接成功的最小配置项如下: java.security ...

  9. OpenTSDB搭建过程(CDH环境,kerberos认证)

    写在最前 为什么要写这篇文章: 目前在国内关于OpenTSDB的文章较少,在下因为最近工作需要需要搭建OpenTSDB找到一些文章,但是关于CDH环境的却很少,搭建的时候也遇到不少坑,所以为了避免后面 ...

最新文章

  1. linux驱动:TI+DM8127+GPIO(一)之应用——报警输入输出
  2. 科学计算:Python VS. MATLAB (1)----给我一个理由先
  3. 再介绍一篇Contrastive Self-supervised Learning综述论文
  4. 从源码角度解析ArrayList.subList的几个坑
  5. Teradata的通吃法:同时飘忽于AWS和微软Azure之上
  6. SAP License:新总账的表结构
  7. 真的,关于 Kafka 入门看这一篇就够了
  8. jmeter 一个可能引起性能严重下降的断言设置
  9. func服务器报警显示C,serve_func.c
  10. 如何解决aar中的第三方依赖无法调用问题
  11. 原相机怎么设置水印_原相机里面的字体颜色 相机水印字体大小怎么设置
  12. Unity 3d 中Debug.Log和Print的区别。
  13. c++ Primer Plus笔记
  14. 每天一道算法题——拼音翻译成阿拉伯数字(只有数字拼音)
  15. css标记_保持CSS3代码标记苗条
  16. Android 系统图标
  17. 系统栈与用户栈 以及 栈的内部实现
  18. 记录SEO寄生虫处理过程
  19. 网络安全与网站安全及计算机安全:如何使用Kali Linux进行Windows计算机操作系统安全演练
  20. 同样line-height下ios和Android显示不一致的问题

热门文章

  1. CentOS与RedHat的关系
  2. 如何使用ASINetWorkQueue下载实现
  3. 开源分布式数据库RadonDB的核心技术与实现
  4. openStack 租户控制台修改虚拟机账户密码
  5. GitLab公布关于开发者趋势的问卷调查结果
  6. maven项目配置Jetty服务器
  7. LoadRunner监控Linux的三种方法
  8. JSP访问Hadoop 图片存储服务
  9. Android中ActivityManagerService与应用程序(客户端)通信模型分析
  10. Activity中与ListActivity中使用listview区别