Java API 访问HA模式下的HDFS集群

在使用Hadoop Java API访问HDFS集群时，在创建FileSystem对象时，直接指定NameNode的IP以及端口号即可。但是在HA模式下，访问HDFS集群却有一些不同，需要指定NameSpace和主备NameNode的IP以及端口等信息，具体操作方式见如下代码：

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://ns1");
conf.set("dfs.nameservices", "ns1");
conf.set("dfs.ha.namenodes.ns1", "nn1,nn2");
conf.set("dfs.namenode.rpc-address.ns1.nn1", "namenode1:9000");
conf.set("dfs.namenode.rpc-address.ns1.nn2", "namenode2:9000");
//conf.setBoolean(name, value);
conf.set("dfs.client.failover.proxy.provider.ns1", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
FileSystem fs = FileSystem.get(new URI("hdfs://ns1"), conf, "hadoop");

另外还可以将Hadoop的配置文件core-site.xml和hdfs-site.xml拷到程序目录下，以输入流的方式加载到Configuration配置信息中。在实际工作中可能没有使用core-site.xml和hdfs-site.xml的权限，所以还是使用第一种方法。

Java API 访问HA模式下的HDFS集群相关推荐

Java API访问HA方式的HDFS
1.介绍对于namenode是HA高可用集群时,客户端远程访问hdfs有两种实现方法: (1)将所有关于namenode的参数写入Configuration对象中 (2)将配置文件core-site ...
阿里云环境下搭建HadoopHA集群
阿里云环境下搭建HadoopHA集群 1. HadoopHA介绍 1.1 hadoop高可用集群的简介 hadoop是一个海量数据存储和计算的平台,能够存储PB级以上的数据,并且利用MapRedu ...
HDFS 集群的机架感知
HDFS 集群的机架感知 1.背景 1.1.Hadoop 的设计目的 1.2.Hadoop 的设计考虑 1.3.副本存放策略 2.配置机架感知 2.1.修改配置文件 core-site.xml 2.2 ...
Java API访问HDFS集群（HA）
title: Java API访问HDFS集群(HA) date: 2021-06-23 17:06:11 tags: HDFS hadoopV2版本及以后都是HA架构,active namenode ...
HDFS HA模式下支持只连接其中Active的NameNode
HDFS HA模式下支持只连接其中Active的NameNode:
使用Java API访问HFDS
目录 1.概述 2.客户端核心类 3.代码实现 3.1.使用IDEA创建一个Maven项目 3.2.配置pom.xml文件 3.3.编写代码 1.概述 HDFS在生产应用中主要是Java客户端的开发, ...
Hadoop（八）Java程序访问HDFS集群中数据块与查看文件系统
阅读目录(Content) 一.HDFS中数据块概述 1.1.HDFS集群中数据块存放位置 1.2.数据块(data block)简介 1.3.对分布式文件系统中的块进行抽象会带来很多好处二.Jav ...
hadoop java访问_Hadoop（五）搭建Hadoop客户端与Java访问HDFS集群
上一篇详细介绍了HDFS集群,还有操作HDFS集群的一些命令,常用的命令: hdfs dfs -ls xxx hdfs dfs -mkdir -p /xxx/xxx hdfs dfs -cat xxx ...
6 HBase java API访问HBase数据库
HBase java API访问HBase数据库 package com.hunan.hbase_options;import org.apache.hadoop.conf.Configuration ...

Java API 访问HA模式下的HDFS集群

Java API 访问HA模式下的HDFS集群相关推荐

最新文章

热门文章