外域HDFS客户端访问内网HDFS datanode

客户端机器报错

外域机器通信需要用外网ip，未配置hostname访问会访问异常，namenode return hosts to hadoop client，the hosts is inner ip，outter client can not request by inner ip. so need config **dfs.client.use.datanode.hostname** in otter client.

解决方案

参考https://stackoverflow.com/questions/14288453/writing-to-hdfs-from-java-getting-could-only-be-replicated-to-0-nodes-instead?tdsourcetag=s_pcqq_aiomsg

云主机hosts文件配内网ip,本地windows电脑配置主机名对应公网ip。

配置hdfs-site.xml

配置客户端用hostname方式访问集群，将配置好的文件hdfs-site.xml拷贝到本地代码的resource目录下

<configuration>
<property><name>dfs.client.use.datanode.hostname</name><value>true</value>
</property>
<property><name>dfs.datanode.use.datanode.hostname</name><value>true</value>
</property>
</configuration>

java_api客户端

Configuration conf=new Configuration();
conf.set("dfs.client.use.datanode.hostname", "true");

参考链接：

https://blog.csdn.net/weixin_41350766/article/details/81111309

https://blog.csdn.net/whiteblacksheep/article/details/100114211

解决方案：外域HDFS客户端访问内网HDFS datanode相关推荐

MacOS 软件版本更新Monterey12.1版之后L2TP无法正常访问内网服务解决方案
问题描述最近本人的M1芯片的MacOS Air 笔记本在升级Monterey 12.3版本后,出现了L2TP VPN拨入之后无法访问内网网络和服务的问题,但是可以ping通所有的内网网络IP地址. ...
Windows 同时访问内网和外网解决方案
1.前言: 想拥有隐私的公司都有内网,外部通过一般途径无法访问,但是作为员工需要同时活跃在内网和外网之间,老是切换网络不是解决办法. 1.Windows 网络访问策略随意连接一个网络(注意是一个,网 ...
NAT环境下，内网用户使用公网地址访问内网服务器
一.环境 1.单位内部有一台服务器,提供web.ftp.ssh等服务,ip地址为私网地址. 2.出口使用cisco路由器,做端口映射,使服务器对外提供服务. 3.内部用户可以通过私网地址访问服务器,外 ...
记录一次使用DDNS动态域名解析服务外网通过域名访问内网服务器服务的过程
DDNS概念 DDNS(Dynamic Domain Name Server)是动态域名服务的缩写. DDNS是将用户的动态IP地址映射到一个固定的域名解析服务上,用户每次连接网络的时候客户端程序就 ...
企业实战（17）记录一次使用DDNS动态域名解析服务外网通过域名访问内网服务器服务的过程
DDNS概念 DDNS(Dynamic Domain Name Server)是动态域名服务的缩写. DDNS是将用户的动态IP地址映射到一个固定的域名解析服务上,用户每次连接网络的时候客户端程序 ...
nat123端口映射: 外网通过ssh访问内网非公网ip的服务器
问题描述 LINUX部署在内网环境,没有公网IP,在内网可以上外网.如何实现在外网SSH访问内网LINUX主机? 解决方法: 使用nat123端口映射,一步映射即可将内网LINUX地址映射到外网,实现 ...
让外网访问内网Ngrok工具
让外网访问内网,通常一些开发的情况下会遇到这种问题,这里记录一个软件工具ngrok. 通常微信客户端,自己做测试可以直接配上本地地址用: 本地做测试服务,连调外网.这个网上有下载地址:https:// ...
Linux下双线双ip访问内网服务器之另类解决办法
一直被双线访问内网服务器的路由问题困扰,也在网上找了不少资料,但有些方法比较复杂,对我这种懒人来说实在懒得去看去测试.最接近的方法是iptables+iproute2,但我比较杯具的木有测试成功... ...
holer实现外网访问内网数据库
外网访问本地数据库本地安装了数据库,只能在局域网内访问,怎样从公网也能访问内网数据库? 本文将介绍使用holer实现的具体步骤. 1. 准备工作 1.1 安装并启动数据库默认安装的数据库端口是33 ...

解决方案：外域HDFS客户端访问内网HDFS datanode