【已解决】could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1
hadoop分布式集群搭建时出现的问题
原始报错
put: File /user/hadoop/input/yarn-site.xml._COPYING_ could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
解决方法
将VMare中的网络连接方式改变即可。如图将默认的NAT模式切换为桥接模式,然后重启Slvae虚拟机,关闭Master集群,重启Master集群。
讲故事时间
我在网上搜到的大部分解决的都是类似报错,即
could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and no node(s) are excluded in this operation.
但请注意,这种报错显示的是0个datanode,而我的报错显示是有1个datanode,而这类问题大多删除一些文件后重新格式化Namenode即可,可惜并不适用我这种存在datanode的情况。
讲故事时间其二
我是再一次上Hadoop课程才又搞起了这个,但是与上次不同的是,这是我是在Ubuntu的环境下装了VMware,然后再在虚拟机上安装Ubuntu,即Slave节点。
最开始的其实用的是VirtualBox,但是那个总是无法主宿机ping通,网上和教材上都说改成桥接模式就没问题了(伏笔),奈何于我无用,无奈换了VMware,这次倒是没换桥接模式,直接用NAT模式就可以ping通,所以我开开心心继续了配置文件的修改,直到我查看了datanode状态,如图:
嗯??我明明只有一个worker是Slave,怎么主机Master成了datanode了,其实我是前晚发现的这个问题,但是一直没有解决,那天设置把分布式的配置全部删除,然后用重跑了一遍伪分布式,然后重新配置了分布式,结果还是不行。
然后我就想,这大抵是个网络问题,然后我又想起来NAT的原理,那是对外封闭虚拟机的IP啊,然后我就想着试试换桥接模式行不行,修改倒是很快,改两个hosts,重启,完美运行了。
结语
成也NAT,败也NAT。
【已解决】could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1相关推荐
- 解决File ~ could only be written to 0 of the 1 minReplication nodes.
在通过javaApi上传本地文件时出现以下错误,主要原因是: File /test3.txt could only be written to 0 of the 1 minReplication no ...
- 阿里云服务器Hadoop java api 上传文件报错 could only be written to 0 of the 1 minReplication nodes.
问题描述 阿里云服务器命令行使用命令可以上传文件,但HDFS java API上传失败,上传后只有文件名没有数据 报错: could only be written to 0 of the 1 min ...
- 阿里云使用idea通过hdfs api来上传文件时出现could only be written to 0 of the 1 minReplication nodes.错误
问题描述: 使用阿里云服务器,在本地windows电脑上使用idea进行hdfs api操作来上传文件时出现错误如下: org.apache.hadoop.ipc.RemoteException(ja ...
- java上传HDFS失败问题File could only be written to 0 of the 1 minReplication nodes.
服务器上HDFS上传文件正常,使用客户端上传文件报错 org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/ro ...
- could only be written to 0 of the 1 minReplication nodes.
问题描述: could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and ...
- Hadoop文件复制到分布式文件系统报错:.xml.COPYING_ could only be written to 0 of the 1 minReplication nodes.
错误截图: 这是当时老师给的DataNode没法启动的解决办法 但是我部署的时候 jps是有datanode的 如下: 但是等我复制失败的时候,再jps就没有了 "jps查看进程时发现nam ...
- could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node
问题 造成这个问题的原因可能是使用hadoop namenode -format格式化时格式化了多次造成那么spaceID不一致 解决方案 停止集群(切换到安装目录下) sbin/stop-all.s ...
- could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running
学习使用 Hadoop-3.2.2 API IDEA中使用Java 向hdfs 写入文件时出现如下错误: could only be replicated to 0 nodes instead of ...
- could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running
连续奋战7个小时,无果,突然看到一篇文章说可能是网络问题,开了热点问题解决,是校园网的问题 org.apache.hadoop.ipc.RemoteException(java.io.IOExcept ...
最新文章
- 电脑桌面便签小工具_可以直接在桌面上显示内容的便签软件电脑版
- 【unity3d study ---- 麦子学院】---------- unity3d常用组件及分析 ---------- 组件的使用...
- new/delete和malloc/free的区别
- 【转摘】如何得心应手的玩转Excel
- sql 2008 找不到本地服务器名称,出现在 sys.servers 中找不到服务器 apos;***\SQLEXPRESS’。请验证指定的服务器名称是否正确的解决方法 – 龙生时代...
- Java命名规范和代码风格
- php如何监听页面滚动,html5中在元素滚动条在滚动时触发的事件onscroll
- HDU 2577 How to Type
- Redis Manager 如何查看监控
- ZigBee入门-CC2530-实验(一)-流水灯代码
- abb变频器580系列改中文_ABB变频器ACS580系列
- win10开启ftp连接不上的正确解决方案
- 2.4G频段的无线收发芯片 SI24R1 问题汇总解答
- linux 卸载dnw命令,《转载》linux下利用dnw烧写文件,dnw安装与配置
- 从一道题理解什么是java的引用
- day08 系统篇端口扫描CDN服务负载均衡WAF防火墙
- macOS Big Sur 11.7.5 (20G1225) 正式版 ISO、PKG、DMG、IPSW 下载
- 下载网页中的视频(m3u8文件下载,仅供交流学习)
- 【Unity VR开发】VRTK 4.0 配置
- vnc远程桌面,这四款vnc远程桌面软件,一定有你不知道的