hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍

2024-05-09 13:40:24

<ignore_js_op>

1）NameNode、DataNode和Client
NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。
DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode。
Client就是需要获取分布式文件系统文件的应用程序。

2）文件写入
Client向NameNode发起文件写入的请求。
NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。
Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。

3）文件读取
Client向NameNode发起文件读取的请求。
NameNode返回文件存储的DataNode的信息。
Client读取文件信息。

----------------------------------------------------------------------------------------------------------------------------------------------------------------

通信方式介绍：

在hadoop系统中，master/slaves/client的对应关系是：
master---namenode；
slaves---datanode；
client---dfsclient；
那究竟是通过什么样的方式进行通信的呢，在这里从大体介绍一下：
简单地讲：
client和namenode之间是通过rpc通信；
datanode和namenode之间是通过rpc通信；
client和datanode之间是通过简单的socket通信。
随便拔一下DFSClient的代码，可以看到它有一个成员变量public final ClientProtocolnamenode;
而再拔一下DataNode的代码，可以看到它也有一个成员变量public DatanodeProtocolnamenode

文章转自：http://www.aboutyun.com/thread-6794-1-1.html

转载于:https://www.cnblogs.com/likehua/p/4161428.html

hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍相关推荐

【Linux网络编程】TCP网络编程中connect listen和accept三者之间的关系
00. 目录文章目录 00. 目录 01. TCP服务端和客户端流程 02. connect函数 03. listen函数 04. 三次握手 05. accept函数 06. 附录 01. TCP服 ...
anaconda中的python如何进行关联分析_浅析python，PyCharm，Anaconda三者之间的关系
一.它们是什么? Python是一种跨平台的计算机程序设计语言,简单来说,python就是类似于C,Java,C++等,一种编程语言. 2.Anaconda Anaconda指的是一个开源的Pytho ...
浅谈javascript中原型（prototype）、构造函数、对象实例及三者之间的关系
转自:http://www.cnblogs.com/zhangwei412827/archive/2012/12/14/2816263.html 浅谈javascript中原型(prototype). ...
程序中try、throw、catch三者之间的关系
c++程序中,采用一种专门的结构化处理逻辑的异常处理机制. 1.try语句 try语句块的作用是启动异常处理机制,检测try语句块中程序语句执行时可能出现的异常. try语句块总是与catch一同出现 ...
Hadoop中Namenode单点故障的解决方案
Hadoop中Namenode单点故障的解决方案需求: 实现namenode元数据的备份,解决namenode单点宕机导致集群不可用的问题. 方案描述: 当namenode所在服务器宕机的时候,我们 ...
甲方、乙方、监理三者之间的关系及其在项目管理过程中的若干事项
1.甲方.乙方.监理三者之间的关系甲方是工程项目的投资单位和受方单位,乙方是工程项目的承建单位和供方单位,监理是工程项目的监管单位和第三方单位.广义方面来讲,监理也属于乙方的范畴,是服务的提供者.从 ...
初学SpringCloud：探讨一下为什么要使用微服务？，为什么要使用服务注册中心？怎样理解服务注册中心，服务提供者，服务调用者三者之间的关系？
目录 1.本篇博客的背景 2.为什么要使用微服务? 3.为什么要使用服务注册中心 4.怎样理解服务注册中心,服务提供者,服务调用者三者之间的关系? 1.本篇博客的背景我目前正在学习微服务的一些知识, ...
PHP-FPM,Nginx,FastCGI 三者之间的关系
2019独角兽企业重金招聘Python工程师标准>>> 本文介绍 PHP-FPM,Nginx,FastCGI 三者之间的关系,以及 Nginx 反向代理和负载均衡的配置. PHP-F ...
python和pycharm之间的关系_浅析python，PyCharm，Anaconda三者之间的关系
一.它们是什么? 1.python Python是一种跨平台的计算机程序设计语言,简单来说,python就是类似于C,Java,C++等,一种编程语言. 2.Anaconda Anaconda指的是一 ...

最新文章

热门文章