NameNode DataNode

2024-05-07 20:47:52

1.数据块的大小设置为多少合适为什么？
hadoop数据块的大小一般设置为128M，如果数据块设置的太小，一般的文件也会被分割为多个数据块，在访问的时候需要查找多个数据块的地址，这样的效率很低，而且如果数据块设置太小的话，会消耗更多的NameNode的内存；而如果数据块设置过大的话，对于并行的支持不是太好，而且会涉及系统的其他问题，比如系统重启时，需要从新加载数据，数据块越大，耗费的时间越长。

2.NameNode有哪些容错机制，如果NameNode挂掉了怎么办？

NameNode容错机制，目前的hadoop2可以为之为HA（高可用）集群，集群里面有两个NameNode的节点，一台为主节点，一台为从节点，两者的数据时刻保持一致，当主节点出现问题时，从节点可以自动切换，用户基本感知不到，这样就避免了NameNode的单点问题。

HDFS写流程：

1.客户端向NameNode发起写数据

2.分块写入DataNode节点，DataNode自动完成副本备份

3.DataNode向NameNode汇报存储完成，NameNode通知客户端

HDFS读流程：

1.客户端向NameNode发起读数据的请求

2.NameNode找出最近的DataNode节点信息返回给客户端

3.客户端从DataNode分块下载文件

NameNode DataNode相关推荐

浅析NameNode/DataNode/SecondaryNameNode源码注释
NameNode源码注释 /*********************************************************** NameNode serves as both di ...
记录docker开发hadoop，解决bug Datanode denied communication with namenode because hostname cannot be
使用docker快速开发了一个单节点的hadoop 首先去docker hub上搜索hadoop 使用hadoop3.1.3的TAG即可,分别拉去datanode和namenode的镜像到本地官方提 ...
HDFS的namenode和datanode
HDFS的架构 NameNode 是一个中心服务器, 单一节点(简化系统的设计和实现), 负责管理文件系统的名字空间(NameSpace)以及客户端对文件的访问文件操作, NameNode 是负责文 ...
HDFS体系结构(NameNode、DataNode详解)
hadoop项目地址:http://hadoop.apache.org/ NameNode.DataNode详解 (一)分布式文件系统概述数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配 ...
模拟namenode挂掉利用secondary namenode恢复
测试机器: 10.0.50.144 master (namenode,datanode) 10.0.50.145 node1 (datanode) 10.0.50.146 node2 ...
hadoop-HA集群搭建，启动DataNode，检测启动状态，执行HDFS命令，启动YARN，HDFS权限配置，C++客户端编程，常见错误
本篇博文为整理网络上Hadoop-HA搭建后出来的博客,参考网址为:http://blog.chinaunix.net/uid-196700-id-5751309.html 3. 部署 3.1. 机器 ...
Hadoop 2.0安装以及不停集群加datanode
Hadoop2.0是对Hadoop1.0全面升级,针对Namenode单点问题,提出了HDFS Federation,让多个NameNode分管不同的目录进而实现访问隔离和横向扩展.诞生了通用的计算框 ...
namenode启动异常问题解决
HA集群配置完成并启动后,namenode不能正常启动.刚启动的时候 jps看到了namenode,但是隔了一两分钟,再看namenode就不见了.如果不启动journalnode,namenode运 ...
Hadoop HA HDFS启动 NameNode启动失败解析
今天也要努力学习作者大哥:me2xp https://www.linuxidc.com/Linux/2016-03/129437.htm 看日志真的很重要!!!!!!!!!! 一.问题描述 HA按 ...
namenode的ha配置，亲测
namenode的ha配置一.Namenode HA部署: 目标: 防止单个Namenode宕机以后,整个HDFS集群无法访问规划: bigdata01.com bigdata02.com big ...

最新文章

热门文章