hdfs的副本数为啥增加了_HDFS详解之块大小和副本数

1.HDFS

HDFS : 伪分布式(学习)

SNN

sbin/start-dfs.sh(开启hdfs使用的脚本)

bin/hdfs dfs -ls (输入命令加前缀bin/hdfs dfs)

2.block(块)

dfs.blocksize ： 134217728(字节) / 128M 官网默认一个块的大小128M

*举例理解块

1个文件 130M，默认一个块的大小128M

130/128=1…2M有两个块128M 2M

1个文件 260M 260/128=2…4M有三个块

2个128M 1个4M

每个瓶子容量128ML 1碗水260ML

需要3个瓶子

A 128mlB 128mlC 4ml

3.副本数

dfs.replication 1 / 3指的是一个块的复制数(1是在学习中，3是在生产中)

例如

*每个瓶子容量128ML 1碗水260ML

需要3个瓶子

A 128ml A 128ml A1 A2 A3 (A1 A2 A3 为副本数)

B 128ml B 128ml B1 B2 B3 …

C 4ml C 4ml C1 C2 C3 …

260/128=2...4M 3个块

实际有9个块= 33副本实际存储空间 260M3

面试题: 一个文件160m，副本数2，块大小128m,实际存储空间多少？块数量多少？

答：160/128=1…32 2个块

但是有副本数为2就是22=4个块

实际存储空间是1604=640m

hdfs的副本数为啥增加了_HDFS详解之块大小和副本数相关推荐

hdfs的副本数为啥增加了_HDFS架构小结
分布式文件系统 - Hadoop Distributed File System (HDFS)运行于通用硬件上的分布式文件系统,高吞吐,高可靠. HDFS架构 HDFS主要由NameNode.Seco ...
TP-LINK路由器作为副路由器之Lan接口连接详解
TP-LINK路由器作为副路由器之Lan接口连接详解 WiFi连接设置TP-LINK路由器作为局域网中的中继副路由器之Lan接口连接的方法,详解. 1.断开电脑的有线连接和WiFi连接的互联网. 1 ...
hdfs的副本数为啥增加了_设置hdfs副本数 dfs.replication
设置hdfs副本数 dfs.replication 有个临时应用,使用临时调配的机器,机器磁盘差别数十倍. 在使用hadoop存储数据时导致小磁盘机器使用率达80%多,而大磁盘机器使用不过才10%多一 ...
captcha2 验证码 php,Yii2增加验证码步骤详解
本来以为yii2框架验证码这块很全面,尝试百度google了一下,大多数教程写的零零散散不全面,想着自己写一份带有完整步骤的验证码教程. 我们假设site/login 表单登录需要增加验证码. 1.s ...
namenode和datanode工作机制_HDFS详解一：namenode、datanode工作原理
1. 概述HDFS集群分为两大角色:NameNode.DataNode(Secondary NameNode) NameNode负责管理整个文件系统的元数据,记录存放在哪些datanode中,以及存放 ...
linux增加分区swap,linux中Centos7增加swap分区详解
注意:(Redhat5官方推荐) RAM<=4G,swap=2G;RAM>4G,<16G,swap=4G;RAM>16G,<64G,swap=8G;RAM>64G, ...
jqueryonclick事件_jquery动态移除/增加onclick属性详解
本文章给大家介绍利用jquery的removeAttr与attr事件来给a标签增加与删除onclick事件的具体操作方法,有需要了解的朋友可参考. 要实现效果:点击链接先去掉onclick属性,3秒后 ...
linux的物理内存中swap压缩,linux中Centos7增加swap分区详解
注意:(Redhat5官方推荐) RAM<=4G,swap=2G;RAM>4G,<16G,swap=4G;RAM>16G,<64G,swap=8G;RAM>64G, ...
人工智能规模化落地还有哪些坑？阿里副总裁华先胜连麦详解！
风云变幻,谁主沉浮!在人工智能 60 年的发展历程之中,从 1956 年美国达特茅斯会议中人工智能概念的落地,到成本太高难以实现商用的寒冬,再到神经网络.机器学习等技术的爆发,跌宕起伏的人工智能开始从 ...

hdfs的副本数为啥增加了_HDFS详解之块大小和副本数

hdfs的副本数为啥增加了_HDFS详解之块大小和副本数相关推荐

最新文章

热门文章