HDFS修改副本数并生效

1、hadoop集群使用的ucloud的uahdoop

2、是公司集群配置小，只有两台core节点，实际就是两台的datanode。容量占用超过了80%，需要缩减副本以空出容量。

3、查看

hadoop fs -du -h /user/hive/warehouse/xxwarehouse.db/xx_datasourceraw/partitiondate=2019-10-31
可以看到，每个文件三个副本。

4、执行

hdfs dfs -setrep -R 2 /
　将所有的已经上传的副本从3个变成了两个

5、再执行第三步脚本确认。

6、最后修改hdfs-site.xml的dfs.replication值为2，这个参数直接通过uhadoop管理后台可以直接修改。

修改后自动重启了服务并生效。

HDFS修改副本数并生效相关推荐

hdfs的副本数为啥增加了_设置hdfs副本数 dfs.replication
设置hdfs副本数 dfs.replication 有个临时应用,使用临时调配的机器,机器磁盘差别数十倍. 在使用hadoop存储数据时导致小磁盘机器使用率达80%多,而大磁盘机器使用不过才10%多一 ...
hdfs的副本数为啥增加了_HDFS架构小结
分布式文件系统 - Hadoop Distributed File System (HDFS)运行于通用硬件上的分布式文件系统,高吞吐,高可靠. HDFS架构 HDFS主要由NameNode.Seco ...
hdfs的副本数为啥增加了_HDFS详解之块大小和副本数
1.HDFS HDFS : 伪分布式(学习) NN DN SNN sbin/start-dfs.sh(开启hdfs使用的脚本) bin/hdfs dfs -ls (输入命令加前缀bin/hdfs df ...
kafka 在线修改副本数
背景前段时间由于集群各台机器配置不一样,导致部分机器磁盘吃紧.定位发现kafka log数据占了一半的容量,而且某一个topic的数据惊人,50个partition,每个partition24G, ...
解决 HDFS副本数不足问题
1.现象 CDH界面 HDFS出现爆红项,查看详情发现是副本数不足导致的,如下: HDFS和 CDH版本:2.6.0+cdh5.15.1+2822 2.分析报错是很明确的:接近 99%的 hdfs ...
kafka 修改分区_kafka修改分区和副本数
kafka修改分区和副本数查看现在副本分配情况 ../bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic test1 ...
设置文件副本数_ElasticSearch平滑批量缩减索引分片数实践
一.背景 Elasticsearch作为开源分布式检索分析引擎,具有近实时的检索能力.海量数据的分布式存储能力.海量数据的近实时分析能力,目前广泛应用于国内外互联网公司.站内检索.订单类数据的多 ...
5、kubernetes Scale Up/Down在线增加或减少 Pod 的副本数、Failover故障转移、用 label(标签)控制 Pod 的位置
伸缩(Scale Up/Down)是指在线增加或减少 Pod 的副本数. Deployment nginx-app 初始是两个副本 [root@master ~]# kubectl apply -f ...
修改Hosts为何不生效，是DNS缓存？
Update: 如果浏览器使用了代理工具,修改 Hosts 也不会生效.这里是因为,浏览器会优先考虑代理工具(如添加 pac 文件.SwitchySharp等)的代理,建议调试的时候先关闭这些代理. ...

HDFS修改副本数并生效

HDFS修改副本数并生效相关推荐

最新文章

热门文章