hadoop集群搭建好后,本地通过java api访问hadoop集群,java代码如下(查看hadoop集群上所有节点名称信息)

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.hdfs.DistributedFileSystem;
import org.apache.hadoop.hdfs.protocol.DatanodeInfo;import java.io.IOException;
import java.net.URI;public class AccessHdfs {public static void main(String[] args) throws IOException {Configuration conf=new Configuration();FileSystem fs= FileSystem.get(URI.create("hdfs://your-ip:9000/file-path"), conf);DistributedFileSystem dfs = (DistributedFileSystem)fs;DatanodeInfo[] dataNodeStats = dfs.getDataNodeStats();for(int i=0; i<dataNodeStats.length; i++){System.out.println("DataNode_" + i + "_Node:" + dataNodeStats[i].getHostName());}}
}

出现Access denied for user Administrator. Superuser privilege is required的错误信息:

Exception in thread "main" org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Access denied for user Administrator. Superuser privilege is requiredat org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkSuperuserPrivilege(FSPermissionChecker.java:125)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkSuperuserPrivilege(FSNamesystem.java:4484)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.datanodeReport(FSNamesystem.java:4137)at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.getDatanodeReport(NameNodeRpcServer.java:1151)at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getDatanodeReport(ClientNamenodeProtocolServerSideTranslatorPB.java:728)at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:503)at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:989)at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:868)at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:814)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:422)at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1886)at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2603)at org.apache.hadoop.ipc.Client.call(Client.java:1470)at org.apache.hadoop.ipc.Client.call(Client.java:1401)at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)at com.sun.proxy.$Proxy9.getDatanodeReport(Unknown Source)at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getDatanodeReport(ClientNamenodeProtocolTranslatorPB.java:607)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:498)at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)at com.sun.proxy.$Proxy10.getDatanodeReport(Unknown Source)at org.apache.hadoop.hdfs.DFSClient.datanodeReport(DFSClient.java:2390)at org.apache.hadoop.hdfs.DistributedFileSystem.getDataNodeStats(DistributedFileSystem.java:1009)at org.apache.hadoop.hdfs.DistributedFileSystem.getDataNodeStats(DistributedFileSystem.java:1003)at com.fhpt.AccessHdfs.main(AccessHdfs.java:28)

出现这个错误的原因是,Administrator用户没有权限,可以参考http://blog.sina.com.cn/s/blog_e699b42b0102xfnd.html的方式,也可以用下面的简单方式。

在代码中添加如下信息即可,其中“root”是有访问hadoop集群的权限用户名

System.setProperty("HADOOP_USER_NAME", "root");

访问hadoop集群时错误:Access denied for user Administrator. Superuser privilege is required相关推荐

  1. Access denied for user root. Superuser privilege is required

    在使用 cloudera manager 安装  hdfs 的过程中,报错 using /usr/java/jdk1.7.0_67/ as JAVA_HOME using 5 as CDH_VERSI ...

  2. Access denied for user root. Superuser privilege is required...

    在使用 cloudera manager 安装 hdfs 的过程中,报错 using /usr/java/jdk1.7.0_67/ as JAVA_HOME using 5 as CDH_VERSIO ...

  3. 使用kubectl访问Kubernetes集群时的身份验证和授权

    全栈工程师开发手册 (作者:栾鹏) 架构系列文章 kubectl是日常访问和管理Kubernetes集群最为常用的工具. 当我们使用kubeadm成功引导启动(init)一个Kubernetes集群的 ...

  4. Hadoop集群中master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).的解决和思路

    问题概述 [wangguowei@master sbin]$ start-all.sh WARNING: Attempting to start all Apache Hadoop daemons a ...

  5. 基于K8S,spark访问hadoop集群的共享层hive表数据历险记

    前言 由于Spark的抽象设计,我们可以使用第三方资源管理平台调度和管理Spark作业,比如Yarn.Mesos和Kubernetes. 基本原理 基本原理当我们通过spark-submit将Spar ...

  6. 在ubuntu16.04安装hadoop集群时ssh不成功

    背景信息: root@ubuntu4:~/.ssh# cat /etc/issue Ubuntu 16.04.1 LTS \n \l 官方指导: 如果不输入口令就无法用ssh登陆localhost,执 ...

  7. 搭建hadoop 集群,出现 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

    [注]1.出现这个原因在于在我们生成 ssh 免密登录的时候.没有把is_rsa.pub(公钥)追加到 authorized_keys文件后面. 2.理论上,设置成功的话 输入 ssh hadoop1 ...

  8. 全国大学生大数据技能竞赛(Hadoop集群搭建)

    系列文章 全国大学生大数据技能竞赛(数仓部署) 全国大学生大数据技能竞赛(Spark on Yarn安装) 文章目录 系列文章 前言 资料链接 用VMware练习配置前准备三台虚拟机并修改网络为桥接 ...

  9. 记一则神秘JDK版本引发的hadoop集群慢性崩溃”血案“

    一.症状表现 前些时间公司在外省机房部署了一套新hadoop集群,所有机子都装的是centos,跑了一个礼拜莫名其妙的出现了计算节点的心跳间隔变得越来越大,最终导致计算节点挂掉,遇到问题第一时间就是看 ...

最新文章

  1. python装饰器-python装饰器是哪个版本支持的
  2. Ajax中GET和POST的区别
  3. 磁盘阵列常见故障以及维护注意事项
  4. future promise java_第四章 Future和Promise
  5. WPF 从 .net core 3.1 到 .net 5.0
  6. 使用Api分析器与Windows兼容包来编写智能的跨平台.NET Core应用
  7. 禁用导航栏的右滑返回实现全屏手势返回
  8. 疫情之下的“催化剂”:在线经济崛起 房产数字化变革加速
  9. 慕课python就业班加微信_给初学python的朋友的一些忠告和建议
  10. 神华集团与360共设清洁能源大数据安全技术研究中心
  11. python关系运算符实例_python编程中最常用的比较运算符实例
  12. 如何下载特定版本的bootstrap.min.css、bootstrap.min.js、jquery-3.5.1.min.js
  13. 软件系统介绍文档模板
  14. linux 下面dev文件,Linux下目录的含义,例如lib中放置了什么文件,dev是什么
  15. deepfacelab安卓版_DeepFaceLab2020版本下载
  16. 技嘉 AORUS Radeon RX 6700 XT ELITE 12G 显示卡潮流登场
  17. 如何将word文件的大小进行压缩?
  18. 处理安卓机不支持backdrop-filter毛玻璃效果样式
  19. [转]关于使用多表做update的语法
  20. 龙讯|LT9721高性能HDMI/MIPItoTypeC TO DP转换器

热门文章

  1. TikTok视频流量黄金发布时间
  2. win10系统升级后触摸板点击没反应
  3. WeGame聊天室采集
  4. 教你一招更改视频竖版与横版的技巧
  5. 一款支持http与dubbo协议互相转换的网关
  6. android 闪光灯 频闪,技术丨频闪人像的闪光灯调节和拍摄要点
  7. 运维是技术含量最低的岗位吗?自学应该看书还是看视频?答案都在这里!
  8. shell脚本里的#!/bin/bash是什么意思
  9. 线性代数系列(一)--线性组合
  10. 【ct107d】独立键盘