Java API访问HA方式的HDFS

1、介绍

对于namenode是HA高可用集群时，客户端远程访问hdfs有两种实现方法：
（1）将所有关于namenode的参数写入Configuration对象中
（2）将配置文件core-site.xml和hdfs-site.xml文件复制到项目的src目录下

2、方式一

（1）样例代码

import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;public class HADemo {public static void main(String[] args) {// TODO Auto-generated method stubConfiguration conf = new Configuration();conf.set("fs.defaultFS", "hdfs://my");conf.set("dfs.nameservices", "my");conf.set("dfs.ha.namenodes.my", "nn1,nn2");conf.set("dfs.namenode.rpc-address.my.nn1", "192.168.12.156:8020");conf.set("dfs.namenode.rpc-address.my.nn2", "192.168.157:8020");conf.set("dfs.client.failover.proxy.provider.my","org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");try {FileSystem fs = FileSystem.get(new URI("hdfs://my"), conf,"root");boolean b=fs.mkdirs(new Path("/a"));System.out.println(b);fs.copyFromLocalFile(new Path("D:\\a.txt"), new Path("/a/a.txt"));fs.close();} catch (Exception e) {System.out.println(e);}}}

（2）运行结果

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
true

（3）HDFS命令验证

[root@node1 ~]# hdfs dfs -ls /a
Found 2 items
-rw-r--r--   3 root supergroup         13 2018-08-08 09:11 /a/a.txt
[root@node1 ~]# hdfs dfs -cat /a/a.txt
Hello,Hadoop!
[root@node1 ~]#

Java API访问HA方式的HDFS相关推荐

Java API 访问HA模式下的HDFS集群
在使用Hadoop Java API访问HDFS集群时,在创建FileSystem对象时,直接指定NameNode的IP以及端口号即可.但是在HA模式下,访问HDFS集群却有一些不同,需要指定Name ...
Java API访问HDFS集群（HA）
title: Java API访问HDFS集群(HA) date: 2021-06-23 17:06:11 tags: HDFS hadoopV2版本及以后都是HA架构,active namenode ...
6 HBase java API访问HBase数据库
HBase java API访问HBase数据库 package com.hunan.hbase_options;import org.apache.hadoop.conf.Configuration ...
ElasticSearch 使用Java Api访问集群
ElasticSearch 使用Java Api访问集群 1.创建maven工程导入pom依赖 <dependencies><dependency><groupId> ...
java 生成parquet文件格式,使用Java API将Parquet格式写入HDFS，而不使用Avro和MR
What is the simple way to write Parquet Format to HDFS (using Java API) by directly creating Parquet ...
hbase java api 两种方式
NoSQL Hbase JAVA API 实例一导入架包: <dependency><groupId>org.apache.hbase</groupId>< ...
使用Java API访问HFDS
目录 1.概述 2.客户端核心类 3.代码实现 3.1.使用IDEA创建一个Maven项目 3.2.配置pom.xml文件 3.3.编写代码 1.概述 HDFS在生产应用中主要是Java客户端的开发, ...
Java API访问ZK的权限控制
无权限访问结点 /*** 对于ZK的授权访问* Created by liuhuichao on 2017/7/27.*/ public class AutoSample {private stati ...
《Hadoop MapReduce实战手册》一2.8 使用HDFS的Java API
本节书摘来异步社区<Hadoop MapReduce实战手册>一书中的第2章,第2.8节,作者: [美]Srinath Perera , Thilina Gunarathne 译者: 杨卓 ...

Java API访问HA方式的HDFS

1、介绍

2、方式一

Java API访问HA方式的HDFS相关推荐

最新文章

热门文章