大数据-HDFS 文件副本和 Block 块存储

2024-05-16 17:34:27

1.4. HDFS 文件副本和 Block 块存储

所有的文件都是以 block 块的方式存放在 HDFS 文件系统当中, 在 Hadoop1当中, 文件的 block 块默认大小是 64M, hadoop2 当中, 文件的 block块大小默认是 128M, block 块的大小可以通过 hdfs-site.xml当中的配置文件进行指定

<property><name>dfs.block.size</name><value>块大小 以字节为单位</value>
</property>

1.4.1. 引入块机制的好处

一个文件有可能大于集群中任意一个磁盘
使用块抽象而不是文件可以简化存储子系统
块非常适合用于数据备份进而提供数据容错能力和可用性

1.4.2. 块缓存

通常 DataNode 从磁盘中读取块, 但对于访问频繁的文件,其对应的块可能被显式的缓存在 DataNode 的内存中, 以堆外块缓存的形式存在.默认情况下，一个块仅缓存在一个 DataNode的内存中，当然可以针对每个文件配置 DataNode 的数量.作业调度器通过在缓存块的 DataNode 上运行任务,可以利用块缓存的优势提高读操作的性能.

例如：

连接(join) 操作中使用的一个小的查询表就是块缓存的一个很好的候选用户或应用通过在缓存池中增加一个 Cache Directive 来告诉 NameNode需要缓存哪些文件及存多久. 缓存池(Cache Pool)是一个拥有管理缓存权限和资源使用的管理性分组.

例如一个文件 130M, 会被切分成 2 个 block 块, 保存在两个 block 块里面,实际占用磁盘 130M 空间, 而不是占用256M的磁盘空间

1.4.3. HDFS 文件权限验证

HDFS 的文件权限机制与 Linux 系统的文件权限机制类似

    r:read  w:write  x:execute

权限 x 对于文件表示忽略, 对于文件夹表示是否有权限访问其内容如果 Linux系统用户 zhangsan 使用 Hadoop 命令创建一个文件, 那么这个文件在 HDFS当中的 Owner 就是 zhangsan HDFS 文件权限的目的, 防止好人做错事,而不是阻止坏人做坏事. HDFS相信你告诉我你是谁, 你就是谁

大数据-HDFS 文件副本和 Block 块存储相关推荐

大数据——HDFS的常用命令
标题大数据--HDFS的常用命令 hdfs常用命令行: (1)查看帮助hdfs dfs -help (2)查看当前目录信息hdfs dfs -ls /(3)上传文件hdfs dfs -put /本地路 ...
数据结构与算法第八天常见排序+冒泡排序+快速排序+文件IO+大数据排序+文件合并
数据结构与算法第八天常见排序+冒泡排序+快速排序+文件IO+大数据排序+文件合并第一章冒泡排序 [1]Bubble_Sort.c 第二章快速排序 [1]quick_sort.c 第三章大数据 ...
问题解决-----如何从windows10向ubuntu传输大数据的文件(大于等于50M)
问题解决-----如何从windows10向ubuntu传输大数据文件目录一.问题描述 1.问题描述如下: 二.FileZilla的下载及安装 1.FileZilla的下载地址如下所示: 2.Fil ...
国家大数据政策文件汇编（2022年）附下载
数据作为新型生产要素,是数字化.网络化.智能化的基础,已快速融入生产.分配.流通.消费和社会服务管理等各环节,深刻改变着生产方式.生活方式和社会治理方式.数据基础制度建设事关国家发展和安全大局.为加快 ...
大数据架构-使用HBase和Solr配置存储与索引
大数据架构-使用HBase和Solr配置存储与索引 2014-08-22 11:04 王安琪博客园字号:T | T HBase可以通过协处理器Coprocessor的方式向Solr发出请求,Sol ...
大数据之-Hadoop之HDFS的API操作_配置参数的优先级说明_以设置hdfs文件副本数量参数为案例---大数据之hadoop工作笔记0057
然后我们再来看一下配置参数的优先级的问题. 我没用这个副本数量来做案例.我们可以看到三一节上传的文件副本banzhang.txt的数量是3. 我们知道文件副本的数量是在hdfs-site.xml上面这 ...
彻底理解大数据 HDFS 分布式文件系统，这篇就够了
来源:https://www.cnblogs.com/cainiao-chuanqi/p/11420490.html 文件系统的基本概述文件系统定义:文件系统是一种存储和组织计算机数据的方法,它使得 ...
大数据-HDFS文件系统是什么
导语 Hadoop中附带了一个HDFS(Hadoop分布式文件系统)的分布式文件系统,专门用来存储超级大文件使用,它为整个的Hadoop应用生态圈提供了基础的文件存储功能. 文档目录 HDFS 特 ...
大数据HDFS凭啥能存下百亿数据？
前言大家平时经常用的百度网盘存放电影.照片.文档等,那有想过百度网盘是如何存下那么多文件的呢?难到是用一台计算机器存的吗?那得多大磁盘啊?显然不是的,那本文就带大家揭秘. 分布式存储思想既然一台机 ...
【博学谷学习记录】超强总结，用心分享 | 狂野大数据HDFS的动态扩容和缩容~个人学习复习记录~PART-05
概念 1.在不影响当前集群正常运行的情况下,对集群的主机的数量进行增加或者减少一.操作步骤-动态上线 1.准备一台机器node4,该机器要满足以下条件 IP:194.168.88.164 设置主机名 ...

最新文章

热门文章