Java代码通过Kerberos连接HDFS

准备配置文件工作:
1. hdfs-site.xml , core-site.xml   从【集群中下载】
2. hadoop.keytab 【创建kerberos访问的用户生成】
3. krb5.conf  【配置Kerberos生成】pom需要的依赖:<dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>${hadoop.version}</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>${hadoop.version}</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>${hadoop.version}</version></dependency></dependencies>具体的代码实现package com.cib.feilong.kerber;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.security.UserGroupInformation;/*** JAVA 代码通过Kerberos连接HDFS** @author songzhan* @version 1.0* @date 2022/1/14*/public class Test {public static void main(String[] args) throws Exception {String user = "hadoop";String keytab = "/home/hadoop/hadoop.keytab";String path = "/tmp/";Configuration conf = new Configuration();conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");System.setProperty("java.security.krb5.conf", "/etc/krb5.conf");UserGroupInformation.setConfiguration(conf);UserGroupInformation.loginUserFromKeytab(user, keytab);FileSystem fileSystem = FileSystem.get(conf);boolean exists = fileSystem.exists(new Path(path));// TODO  判断tmp目录是否存在，如果存在返回True,如果不存在返回FalseSystem.out.println("exists:{}" + exists);}}

Java代码通过Kerberos连接HDFS相关推荐

Hive:用Java代码通过JDBC连接Hiveserver
写在前面的话,学Hive这么久了,发现目前国内还没有一本完整的介绍Hive的书籍,而且互联网上面的资料很乱,于是我决定写一些关于<Hive的那些事>序列文章,分享给大家.我会在接下来的时间 ...
Java代码通过JDBC连接Hiveserver2
Java代码通过JDBC连接Hiveserver2 转载 2016年04月26日 16:33:35 344 用Java代码通过JDBC连接Hiveserver2 我们可以通过CLI.Client.We ...
JAVA代码实现hive连接mysql_Java采用JDBC的方式连接Hive（SparkSQL）
前两天,由于系统的架构设计的原因,想通过Java直接访问Hive数据库,对于我这个Java以及Hadoop平台的菜鸟来说,的确是困难重重,不过,还好是搞定了.感觉也不是很麻烦.这篇文章,作为一个感想记 ...
用Java代码通过JDBC连接Hiveserver2
我们可以通过CLI.Client.Web UI等Hive提供的用户接口来和Hive通信,但这三种方式最常用的是CLI:Client 是Hive的客户端,用户连接至 Hive Server.在启动 Cl ...
java连接hive代码_Hive:用Java代码通过JDBC连接Hiveserver
我们可以通过CLI.Client.Web UI等上面代表你已经成功的在端口为10002(默认的端口是10000)启动了hiveserver服务.这时候,你就可以通过编译上面的代码,之后就可以运行( ...
hive2 java连接_用Java代码通过JDBC连接Hiveserver2
1.在终端启动hiveserver2 #hiveserver2 2.使用beeline连接hive 另外打开一个终端,输入如下命令(xavierdb必须是已经存在的数据库) #beeline -u j ...
在IDEA中创建maven项目编写java代码操作HDFS集群
一.安装win10编译过的hadoop 1.将编译好的hadoop包放在非中文目录 2.配置HADOOP_HOME环境变量 3.将hadoop包的bin目录加到PATH环境变量中二.在idea中创建 ...
java tcp 三次握手_用Java代码分析TCP的三次握手四次挥手过程
(1)客户端发送一个带SYN标志的TCP报文到服务器.这是三次握手过程中的报文1. (2) 服务器端回应客户端的,这是三次握手中的第2个报文,这个报文同时带ACK标志和SYN标志.因此它表示对刚才客户 ...
java中常用的连接池_java数据库连接池
编写标准的数据源(规范) Java为数据库连接池提供了公共的接口:javax.sql.DataSource,各个厂商需要让自己的连接池实现这个接口.这样应用程序可以方便的切换不同厂商的连接池! 常见的 ...

Java代码通过Kerberos连接HDFS

Java代码通过Kerberos连接HDFS相关推荐

最新文章

热门文章