HDFS中NameNode和DataNode的作用

2024-05-18 02:09:53

NameNode作用

NameNode在内存中保存着整个文件系统的名称空间和文件数据块的地址映射

整个HDFS可存储的文件数受限于NameNode的内存大小

1.NameNode元数据信息

文件名,文件目录结构,文件属性(生成时间,副本数,权限)每个文件的块列表.以及列表中的块与块所在的DataNode之间的地址映射关系

在内存中加载文件系统中每个文件和每个数据块的引用关系(文件,block,datanode 之间的映射信息)

数据会定期保存到本地磁盘(fsImage文件和edits文件)

2.NameNode文件操作

NameNode负责文件元数据的操作

DataNode负责处理文件内容的读写请求,数据流不经过NameNode,会询问NameNode 数据去哪些DataNode中去找

3.NameNode副本

文件数据块到底存放在哪些DataNode上,是由NameNode决定的,NameNode根据全局情况作出放置副本的决定

4.NameNode的心跳机制

全权管理数据块的复制,周期性的接收心跳和块的状态报告信息(包含该DataNode上的所有的数据块的列表),若接收到心跳信息,NameNode认为DataNode已经宕机,这个时候NameNode准备要把DataNode上的数据块进行重新的复制,块的状态报告包含了一个DataNode上所有数据块的列表,blocks reports每个小时发送一次

DataNode的作用

提供真实文件数据的存储服务

1.DataNode 以数据的形式存储HDFS文件

2.DataNode响应HDFS客户端读写请求

3.DataNode 周期性向NameNode汇报心跳信息

4.DataNode周期性向NameNode汇报数据块信息

5.DataNode周期性向NameNode汇报缓存数据块信息

HDFS结构图

HDFS中NameNode和DataNode的作用相关推荐

指定hdfs中namenode的地址_HDFS文件上传下载步骤
先来了解下分布式文件系统(Distributed FileSystem),它是跨越多台计算机或者服务器来管理文件或目录等数据.换句话说,分布式文件系统是允许我们在一个集群的多个节点或机器上存储数据,并 ...
HDFS的namenode和datanode
HDFS的架构 NameNode 是一个中心服务器, 单一节点(简化系统的设计和实现), 负责管理文件系统的名字空间(NameSpace)以及客户端对文件的访问文件操作, NameNode 是负责文 ...
HDFS体系结构(NameNode、DataNode详解)
hadoop项目地址:http://hadoop.apache.org/ NameNode.DataNode详解 (一)分布式文件系统概述数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配 ...
HDFS：NameNode、DataNode、SecondaryNameNode
可以一句话描述 HDFS:把客户端的大文件存放在很多节点的数据块中. HDFS设计原则: 1,文件以块(block)方式存储: 2,通过副本机制提高可靠度和读取吞吐量: 3,每个区块至少分到三台Dat ...
HDFS中namenode故障处理
NameNode故障后,可以采用如下两种方法恢复数据: 1.将SecondaryNameNode中数据拷贝到NameNode存储数据的目录 (1) kill -9 NameNode进程 [test@h ...
hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
<ignore_js_op> 1)NameNode.DataNode和Client NameNode可以看作是分布式文件系统中的管理者,主要负责管理文件系统的命名空间.集 ...
指定hdfs中namenode的地址,任何命令获得hadoop中nameservice的活动namenode？
The command: hdfs haadmin -getServiceState machine-98 Works only if you know the machine name. Is th ...
NameNode与DataNode的工作原理剖析
NameNode与DataNode的工作原理剖析作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HDFS写数据流程 1>.客户端通过Distributed FileSys ...
Hadoop中的Namenode、Datanode和Secondary Namenode
1.namenode Namenode 管理着文件系统的Namespace.它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata),比如命名空间 ...
07-Hadoop HDFS之分布式文件系统、NameNode、DataNode和SecondaryNameNode的基础概念
五.Hadoop-HDFS 5.1 Hadoop的历史 5.1.1Hadoop的进化史 Nutch Hadoop最早起源于Nutch. Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取. ...

最新文章

热门文章