HDFS 上传文件的不平衡，Balancer问题是过慢

至HDFS上传文件。假定从datanode开始上传文件，上传的数据将导致目前的当务之急是全datanode圆盘。这是一个分布式程序的执行是非常不利。

解决方案：

1、从其他非datanode节点上传

可以hadoop文件夹复制一份到一个不在集群中的节点（直接从非datanode的namenode上传也能够，可是这样不太好。会添加namenode的负担。而且时间长了会让namenode上放了各种乱七八糟的文件），在这个节点上不启动不论什么hadoop进程，可是能够当作client使用。

上传文件到集群。

也能够自己写一个上传文件的程序、在其它非集群节点上执行来上传文件。在程序中要注意自己设置必要的配置，比方namenode的url、副本数等等，由于假设不设置，会使用你程序中所带的hadoop jar包中的默认配置，而不是集群的默认配置。

2、使用balancer

能够通过

hdfs balancer -threshold XX

来进行平衡，xx是一个百分比。

关于这个命令的使用方法网上一搜一大堆。

可是默认情况下，这个平衡时非常慢的，由于默认的hadoop不同意balancer占用非常大的网络带宽。

能够通过

hdfs dfsadmin -setBalanacerBandwidth newbandwidth

设置带宽，在字节

HDFS 上传文件的不平衡，Balancer问题是过慢相关推荐

HDFS上传文件报错java.lang.InterruptedException
使用hdfs上传文件时报错, java.lang.InterruptedExceptionat java.lang.Object.wait(Native Method)at java.lang.Thr ...
实验问题解决：HDFS上传文件
实验问题解决:HDFS上传文件使用教材:大数据基础编程.实验和案例教程(第2版) 问题解决:第 4 章 "4.3.4 编译运行程序" 中确保 /user/hadoop 目录下已经 ...
HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo
26 集群使用初步 HDFS的设计思路 l 设计思想分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: l 在大数据系统中作用: 为各类分布式 ...
HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo...
26 集群使用初步 HDFS的设计思路 l 设计思想分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: l 在大数据系统中作用: 为各类分布式 ...
hdfs上传文件没有权限写入的问题解决put: Permission denied: user=root, access=WRITE
问题: 如题,在上传文件的时候出现没有权限写入的问题: 命令: hdfs dfs -put dummy_log_data /user/impala/data/logs/year=2013/month= ...
HDFS上传文件报错org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt
当从本地上传文件到HDFS中时报错 fs.FSInputChecker: Found checksum error: b[0, 69]=6d6f7765696861686168616861686861 ...
Hadoop hdfs上传文件报错解决
如果大家在安装的时候遇到问题,或者按步骤安装完后却不能运行Hadoop,那么建议仔细查看日志信息,Hadoop记录了详尽的日志信息,日志文件保存在logs文件夹内. 无论是启动,还是以后会经常用到的M ...
HDFS上传文件命令报错org.apache.hadoop.ipc.RemoteException(java.io.IOException)
作为作者,强烈不建议进行格式化hadoop,毕竟开发数据是最为重要的! Hadoop 3.1 hdfs dfs -put /源文件路径 /目的文件路径解决方案第一步:停止主节点(Master)和子 ...
Hadoop上传文件失败
HDFS上传文件失败的原因以及解决方法本来打算上传一个文件 hdfs dfs -put /opt/software/upload.txt /test 但是报错了!!! 百度了很多,但是没有一条适合我 ...

HDFS 上传文件的不平衡，Balancer问题是过慢

HDFS 上传文件的不平衡，Balancer问题是过慢相关推荐

最新文章

热门文章