hadoop分布式集群搭建时出现的问题

原始报错

put: File /user/hadoop/input/yarn-site.xml._COPYING_ could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are excluded in this operation.

解决方法

将VMare中的网络连接方式改变即可。如图将默认的NAT模式切换为桥接模式,然后重启Slvae虚拟机,关闭Master集群,重启Master集群。

讲故事时间

我在网上搜到的大部分解决的都是类似报错,即

could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and no node(s) are excluded in this operation.

但请注意,这种报错显示的是0个datanode,而我的报错显示是有1个datanode,而这类问题大多删除一些文件后重新格式化Namenode即可,可惜并不适用我这种存在datanode的情况。

讲故事时间其二

我是再一次上Hadoop课程才又搞起了这个,但是与上次不同的是,这是我是在Ubuntu的环境下装了VMware,然后再在虚拟机上安装Ubuntu,即Slave节点。
最开始的其实用的是VirtualBox,但是那个总是无法主宿机ping通,网上和教材上都说改成桥接模式就没问题了(伏笔),奈何于我无用,无奈换了VMware,这次倒是没换桥接模式,直接用NAT模式就可以ping通,所以我开开心心继续了配置文件的修改,直到我查看了datanode状态,如图:

嗯??我明明只有一个worker是Slave,怎么主机Master成了datanode了,其实我是前晚发现的这个问题,但是一直没有解决,那天设置把分布式的配置全部删除,然后用重跑了一遍伪分布式,然后重新配置了分布式,结果还是不行。
然后我就想,这大抵是个网络问题,然后我又想起来NAT的原理,那是对外封闭虚拟机的IP啊,然后我就想着试试换桥接模式行不行,修改倒是很快,改两个hosts,重启,完美运行了。

结语

成也NAT,败也NAT。

【已解决】could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1相关推荐

  1. 解决File ~ could only be written to 0 of the 1 minReplication nodes.

    在通过javaApi上传本地文件时出现以下错误,主要原因是: File /test3.txt could only be written to 0 of the 1 minReplication no ...

  2. 阿里云服务器Hadoop java api 上传文件报错 could only be written to 0 of the 1 minReplication nodes.

    问题描述 阿里云服务器命令行使用命令可以上传文件,但HDFS java API上传失败,上传后只有文件名没有数据 报错: could only be written to 0 of the 1 min ...

  3. 阿里云使用idea通过hdfs api来上传文件时出现could only be written to 0 of the 1 minReplication nodes.错误

    问题描述: 使用阿里云服务器,在本地windows电脑上使用idea进行hdfs api操作来上传文件时出现错误如下: org.apache.hadoop.ipc.RemoteException(ja ...

  4. java上传HDFS失败问题File could only be written to 0 of the 1 minReplication nodes.

    服务器上HDFS上传文件正常,使用客户端上传文件报错 org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/ro ...

  5. could only be written to 0 of the 1 minReplication nodes.

    问题描述: could only be written to 0 of the 1 minReplication nodes.  There are 2 datanode(s) running and ...

  6. Hadoop文件复制到分布式文件系统报错:.xml.COPYING_ could only be written to 0 of the 1 minReplication nodes.

    错误截图: 这是当时老师给的DataNode没法启动的解决办法 但是我部署的时候 jps是有datanode的 如下: 但是等我复制失败的时候,再jps就没有了 "jps查看进程时发现nam ...

  7. could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node

    问题 造成这个问题的原因可能是使用hadoop namenode -format格式化时格式化了多次造成那么spaceID不一致 解决方案 停止集群(切换到安装目录下) sbin/stop-all.s ...

  8. could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running

    学习使用 Hadoop-3.2.2 API IDEA中使用Java 向hdfs 写入文件时出现如下错误: could only be replicated to 0 nodes instead of ...

  9. could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running

    连续奋战7个小时,无果,突然看到一篇文章说可能是网络问题,开了热点问题解决,是校园网的问题 org.apache.hadoop.ipc.RemoteException(java.io.IOExcept ...

最新文章

  1. 电脑桌面便签小工具_可以直接在桌面上显示内容的便签软件电脑版
  2. 【unity3d study ---- 麦子学院】---------- unity3d常用组件及分析 ---------- 组件的使用...
  3. new/delete和malloc/free的区别
  4. 【转摘】如何得心应手的玩转Excel
  5. sql 2008 找不到本地服务器名称,出现在 sys.servers 中找不到服务器 apos;***\SQLEXPRESS’。请验证指定的服务器名称是否正确的解决方法 – 龙生时代...
  6. Java命名规范和代码风格
  7. php如何监听页面滚动,html5中在元素滚动条在滚动时触发的事件onscroll
  8. HDU 2577 How to Type
  9. Redis Manager 如何查看监控
  10. ZigBee入门-CC2530-实验(一)-流水灯代码
  11. abb变频器580系列改中文_ABB变频器ACS580系列
  12. win10开启ftp连接不上的正确解决方案
  13. 2.4G频段的无线收发芯片 SI24R1 问题汇总解答
  14. linux 卸载dnw命令,《转载》linux下利用dnw烧写文件,dnw安装与配置
  15. 从一道题理解什么是java的引用
  16. day08 系统篇端口扫描CDN服务负载均衡WAF防火墙
  17. macOS Big Sur 11.7.5 (20G1225) 正式版 ISO、PKG、DMG、IPSW 下载
  18. 下载网页中的视频(m3u8文件下载,仅供交流学习)
  19. 【Unity VR开发】VRTK 4.0 配置
  20. vnc远程桌面,这四款vnc远程桌面软件,一定有你不知道的

热门文章

  1. VR开发-按钮实现答题篇
  2. 虚拟机设置仅主机模式
  3. @echo与echo区别
  4. 实现给软件快捷方式更换图标
  5. Python学习之:xlrd库的使用
  6. 简单易上手 51蓝牙 PWM调速 避障 循迹小车(最强小车)
  7. temporal shift module(TSM)
  8. iOS Mansory 等间隔等宽高排列多个View
  9. 使用RegularExpressionValidator验证:正则表达式
  10. 网络打不其他计算机的共享文件,局域网共享文件夹无法被其它电脑访问怎么办...