HDFS balancer 异常处理

Hbase批量导入数据时，服务器负载较高，导致HDFS数据没有及时均衡，导致有一个DataNode数据暴增，手动进行balancer。

增加HDFS DataNode节点，想要均衡数据存储，执行

 hdfs balancer -threshold 10

突然有一些节点报错


18/09/21 17:51:37 WARN balancer.Dispatcher: Failed to move blk_1073837252_96442 with size=268435456 from 10.248.161.6:9866:DISK to 10.248.161.10:9866:DISK through 10.248.161.6:9866
java.net.NoRouteToHostException: 没有到主机的路由at java.net.PlainSocketImpl.socketConnect(Native Method)at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)at java.net.Socket.connect(Socket.java:589)at org.apache.hadoop.hdfs.server.balancer.Dispatcher$PendingMove.dispatch(Dispatcher.java:356)at org.apache.hadoop.hdfs.server.balancer.Dispatcher$PendingMove.access$3000(Dispatcher.java:233)at org.apache.hadoop.hdfs.server.balancer.Dispatcher$1.run(Dispatcher.java:1148)at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)at java.lang.Thread.run(Thread.java:745)

后来发现是新增的节点没有关闭防火墙。。。。。

CentOS7 执行

service firewalld status
service firewalld stop
systemctl disable firewalld.service
service firewalld status

然后再查看日志发现恢复正常。

运行了十个小时才完成~~~~~~~~~~~

17/12/08 19:16:28 INFO balancer.Balancer: dfs.balancer.movedWinWidth = 5400000 (default=5400000)
17/12/08 19:16:28 INFO balancer.Balancer: dfs.balancer.moverThreads = 1000 (default=1000)
17/12/08 19:16:28 INFO balancer.Balancer: dfs.balancer.dispatcherThreads = 200 (default=200)
17/12/08 19:16:28 INFO balancer.Balancer: dfs.datanode.balance.max.concurrent.moves = 50 (default=50)
17/12/08 19:16:28 INFO balancer.Balancer: dfs.balancer.getBlocks.size = 2147483648 (default=2147483648)
17/12/08 19:16:28 INFO balancer.Balancer: dfs.balancer.getBlocks.min-block-size = 10485760 (default=10485760)
17/12/08 19:16:28 INFO balancer.Balancer: dfs.balancer.max-size-to-move = 10737418240 (default=10737418240)
17/12/08 19:16:28 INFO balancer.Balancer: dfs.blocksize = 268435456 (default=134217728)
17/12/08 19:16:28 INFO net.NetworkTopology: Adding a new node: /default/10.248.161.32:9866
17/12/08 19:16:28 INFO net.NetworkTopology: Adding a new node: /default/10.248.161.31:9866
17/12/08 19:16:28 INFO net.NetworkTopology: Adding a new node: /default/10.248.161.13:9866
17/12/08 19:16:28 INFO net.NetworkTopology: Adding a new node: /default/10.248.161.7:9866
17/12/08 19:16:28 INFO net.NetworkTopology: Adding a new node: /default/10.248.161.12:9866
17/12/08 19:16:28 INFO net.NetworkTopology: Adding a new node: /default/10.248.161.9:9866
17/12/08 19:16:28 INFO net.NetworkTopology: Adding a new node: /default/10.248.161.40:9866
17/12/08 19:16:28 INFO net.NetworkTopology: Adding a new node: /default/10.248.161.35:9866
17/12/08 19:16:28 INFO net.NetworkTopology: Adding a new node: /default/10.248.161.10:9866
17/12/08 19:16:28 INFO net.NetworkTopology: Adding a new node: /default/10.248.161.6:9866
17/12/08 19:16:28 INFO balancer.Balancer: 0 over-utilized: []
17/12/08 19:16:28 INFO balancer.Balancer: 0 underutilized: []
The cluster is balanced. Exiting...
17/12/08 19:16:28              311              3.05 TB                 0 B                0 B
17/12/08 19:16:28       Balancing took 9.853577777777778 hours

HDFS balancer 异常处理相关推荐

sudo -u hdfs hdfs balancer出现异常 No lease on /system/balancer.id
sudo -u hdfs hdfs balancer出现异常 No lease on /system/balancer.id 参考文章: (1)sudo -u hdfs hdfs balancer出现 ...
hdfs - balancer学习
balance是啥,顾名思义是个平衡器主要是平衡各个datanode之间的使用网上的文档一个比一个写的6结果,有的命令都拼错了...而且你知道究竟平衡的是啥么直接上官网 Apache Hado ...
hdfs balancer 源程序详解
最近集群存储倾斜,个别节点存储超过85%,启动balancer之后效果明显,但是有时候balancer启动也不能解决问题.从运维阶段就知道有这么一个balancer,今天终于憋了一口气看看balanc ...
HDFS 上传文件的不平衡，Balancer问题是过慢
至HDFS上传文件.假定从datanode开始上传文件,上传的数据将导致目前的当务之急是全datanode圆盘.这是一个分布式程序的执行是非常不利. 解决方案: 1.从其他非datanode节点上传 ...
阿龙学堂-hdfs存储数据倾斜
1.现象数据存储倾斜现象如下所示: 2.解决办法配置如下参数到[hdfs-site.xml]中,然后重启NameNode和DataNode. 需要设置参数: dfs.datanode.balanc ...
hadoop HDFS常用文件操作命令
命令基本格式: hadoop fs -cmd < args > 1.ls hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列 ...
HDFS组件性能调优：数据平衡
生产系统中什么情况下会添加一个节点呢? 1 增加存储能力 disk 2 增加计算能力 cpu mem 如果增加是的是存储能力,说明存储已接近饱和或者说过段时间就会没有剩余的空间给作业来用.新加的节点存 ...
hadoop-HA集群搭建，启动DataNode，检测启动状态，执行HDFS命令，启动YARN，HDFS权限配置，C++客户端编程，常见错误
本篇博文为整理网络上Hadoop-HA搭建后出来的博客,参考网址为:http://blog.chinaunix.net/uid-196700-id-5751309.html 3. 部署 3.1. 机器 ...
shell 删除了hdfs 文件_从零开始学大数据（三） Shell操作HDFS文件系统-中
1.格式化 [root@master sbin]# hdfs namenode -format 2.命令hdfs dfsadmin 查看(hdfs dfsadmin -report) [root@ma ...

HDFS balancer 异常处理

HDFS balancer 异常处理相关推荐

最新文章

热门文章