记录docker开发hadoop，解决bug Datanode denied communication with namenode because hostname cannot be

使用docker快速开发了一个单节点的hadoop
首先去docker hub上搜索hadoop

使用hadoop3.1.3的TAG即可，分别拉去datanode和namenode的镜像到本地

官方提供了修改配置文件的方法：

拉取完成后分别执行如下命令：

docker run -d \
--name hadoopmaster \
--hostname hadoopmaster \
-e CLUSTER_NAME=xxx \ #该镜像需要填写cluster_name才能创建
-e CORE_CONF_fs_defaultFS=hdfs://hadoopmaster:8020 \ #修改core-site.xml 的配置项（这里要和datanode对应一样，才能让datanode注册到该namenode上）
-e HDFS_CONF_dfs_namenode_datanode_registration_ip___hostname___check=false \ （此添加项改为false，否则会报Datanode denied communication with namenode because hostname cannot xxx 的异常）
-e CORE_CONF_hadoop_tmp_dir=/hadoop/dfs/data -v
-e HDFS_CONF_dfs_permissions_enabled=false \(将权限关闭，否则hbase连接时会报写入权限问题)
/home/xxx/hadoop1/name:/hadoop/dfs/data \
-P -p 8020:8020 你的imageID（namenode）

docker run -d --name datanode01 --hostname datanode01 --link hadoopmaster（必须加上才能通信到上面创建的镜像）  -e CORE_CONF_fs_defaultFS=hdfs://hadoopmaster:8020 -e CORE_CONF_hadoop_tmp_dir=/hadoop/dfs/data \
-e HDFS_CONF_dfs_namenode_datanode_registration_ip___hostname___check=false \
-e HDFS_CONF_dfs_permissions_enabled=false \(将权限关闭，否则hbase连接时会报写入权限问题) \
-v /home/xxx/hadoop1/data1:/hadoop/dfs/data -P 你的imageID（datanode）

注：最开始启动时会报出域名解析问题（通过docker logs 镜像id查看）
由于配置hadoop没有使用host+hostname的配置方式，所以hadoop无法解析DataNode，从而注册出了问题。
解决方法是在hdfs-site.xml中添加，也就是上面的响应-e 修改配置参数

<property><name>dfs.namenode.datanode.registration.ip-hostname-check</name><value>false</value>
</property>

这里还要注意一点没有改workers文件是因为直接单启动，不是群起，只要fs_defaultFS一样即可以注册上

记录docker开发hadoop，解决bug Datanode denied communication with namenode because hostname cannot be相关推荐

记录工作中第一次解决bug的小事
关于在openwrt中丢配置的问题前一段时间,就是国庆节前一两天吧,我的导师带我们去实验室,任务就是改正测试部门发来的bug.本来分了我五个问题,但是因为我之前没有经验,所以着重改其中一个b ...
[记录]mscorlib recursive resource lookup bug解决方法
[记录]mscorlib recursive resource lookup bug解决方法参考文章: (1)[记录]mscorlib recursive resource lookup bug解决 ...
Apache Hadoop 答疑：解决 Apache Hadoop 启动时 DataNode 启动异常的问题
文章目录前言一.启动 HDFS 并显示当前所有 Java 进程二.DataNode 启动异常场景描述三.DataNode 启动异常解决方式四.Web 界面检查 Hadoop 信息总结前言 ...
Android实际开发中的bug总结与解决方法（一）
Android实际开发中的bug总结与解决方法(一) 参考文章: (1)Android实际开发中的bug总结与解决方法(一) (2)https://www.cnblogs.com/ywq-come/p ...
HBase中此类异常解决记录org.apache.hadoop.ipc.RemoteException(java.io.IOException):
HBase中此类异常解决记录org.apache.hadoop.ipc.RemoteException(java.io.IOException): 参考文章: (1)HBase中此类异常解决记录org ...
org.apache.hadoop.security .AccessControlException: Permission denied:解决方法
[问题] 编译wordcount时, org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .Ac ...
软件开发新人如何高效解决BUG
作为一个软件开发人员,如何高效地解决BUG,有没有方法,有没有捷径,说没有也是没有,但也有一定的流程可以一个新人理解如何面对一个BUG,如何解决BUG才是不浪费时间,不走弯路. 作者:Younger ...
基于Docker的Hadoop完全分布式安装
之前安装Hadoop是用VMWare创建虚拟机,然后安装伪分布式,因为虚拟机太慢,太卡,实在没有玩下去的心情了,现在想到Docker可以实现虚拟化,看看能不能安装Hadoop,网上查了查,果然可以,并 ...
【Docker x Hadoop】使用 Docker 搭建 Hadoop 集群（从零开始保姆级）
-- 步骤 -- 0. 背景 1. 创建出第一个容器 2. 为该容器配置 java 和 hadoop 环境 3. 配置允许外界通过 ssh 连接容器 4. 由该容器克隆出多个容器 5. 为各个容器配置 ...

记录docker开发hadoop，解决bug Datanode denied communication with namenode because hostname cannot be

记录docker开发hadoop，解决bug Datanode denied communication with namenode because hostname cannot be相关推荐

最新文章

热门文章