好程序员大数据点睛：关于HDFS的二三事

1.Hadoop自带的一个称为HDFS的分布式文件系统，即Hadoop Distributed Filesystem。它是以流式数据访问模式来存储超大文件，运行于商用硬件集群上；

2.超大文件，目前可以存储PB级别数据了；

3.流式数据访问；

4.商用硬件,廉价机器即可；

5.低时间延迟的数据访问，记住HDFS是为高数据吞吐量应用优化的，这可能会以提高时间延迟为代价，目前对于低延迟的访问需求,HBase是更好地选择；

6.大量的小文件，由于namenode将文件系统的元数据存储在内存中，因此该文件系统所能存储的文件总数受限于namenode的内存容量。根据经验，每个文件目录和数据块的存储信息大约占150字节，所以这类文件不是用在HDFS中；

7.多用户写入任意修改文件，HDFS中的文件写入只支持单个写入者，而且些操作总是以"只添加"方式在文件末尾写数据。它不支持多个写入者的操作，也不支持在文件的任意位置进行修改。可能以后会支持这些操作，但他们相对比较低效。

关于HDFS的三个节点：

1. Namenode：HDFS的守护进程，用来管理文件系统的命名空间，负责记录文件是如何分割成数据块以及这些数据块分别被存储到哪些数据节点上，它的主要功能是对内存及IO进行集中管理；

2.Datanode：文件系统的工作节点，根据需要存储和检索数据块，并且定期向namenode发送他们所存储的块的列表；

3.Secondary Namenode：辅助后台程序，与NameNode进行通信，以便定期保存HDFS元数据的快照；

4.HDFS Federation(联邦HDFS)：通过添加namenode实现扩展，其中每个namenode管理文件系统命名空间中的一部分。每个namenode维护一个命名空间卷，包括命名空间的源数据和该命名空间下的文件的所有数据块的数据块池；

5.HDFS的高可用性(High-Availability)：Hadoop的2.x发行版本在HDFS中添加了对高可用性(HA)的支持。在这一实现中，配置了一对活动-备用(active-standby)namenode。当活动namenode实效，备用namenode就会接管它的任务并开始服务于来自客户端的请求,不会有明显的中断。

好程序员大数据点睛：关于HDFS的二三事相关推荐

好程序员大数据笔记之：Hadoop集群搭建
好程序员大数据笔记之:Hadoop集群搭建在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天 ...
好程序员大数据教程分享之Hadoop优缺点
好程序员大数据教程分享之Hadoop优缺点,大数据成为时代主流,开启时代的大门,全球43亿部电话.20亿位互联网用户每秒都在不断地产生大量数据,人们发送短信给朋友.上传视频.用手机拍照.更新社交网站的 ...
好程序员大数据培训分享怎样进行大数据入门学习
好程序员大数据培训分享怎样进行大数据入门学习,对于大数据的入门学习,基础不一样,起点就会不一样. 今天先来说说,对于零基础的同学想要学习大数据的方式方法吧!很多人可能感到不可思议,零基础怎么可能学习大 ...
关于大数据技术的演讲_好程序员大数据培训分享大数据的两大核心技术
好程序员大数据培训分享大数据两大核心技术,今天小编给大家先分享一下大数据的两大核心技术,知己知彼才能百战不殆,学习大数据技术也是一样的道理,要先有一个清晰的了解,才能确保自己全身心的投入学习. Had ...
好程序员大数据技术分享：Zookeeper集群管理与选举
为什么80%的码农都做不了架构师?>>> 大数据技术的学习,逐渐成为很多程序员的必修课,因为趋势也是因为自己的职业生涯.在各个技术社区分享交流成为很多人学习的方式,今天很荣幸找 ...
好程序员大数据教程：SparkShell和IDEA中编写Spark程序
好程序员大数据教程:SparkShell和IDEA中编写Spark程序,spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用Scala编写Spa ...
试图加载格式不正确的程序_好程序员大数据学习路线之hive存储格式
好程序员大数据学习路线之hive存储格式,hive的存储格式通常是三种:textfile . sequencefile . rcfile . orc .自定义 set hive.default.fil ...
商业方向的大数据专业_好程序员大数据培训分享大数据就业方向有哪些
好程序员大数据培训分享大数据就业方向有哪些?看到了大数据的就业前景及就业薪资,相信很多人都对大数据技术跃跃欲试,想要学习大数据技术.小编认为在学习大数据之前,你还需要了解一下大数据的就业方向有哪些?毕 ...
好程序员大数据培训分享大数据概述
好程序员大数据培训分享大数据概述一,大数据时代的悄然来临,让信息技术的发展发生了巨大变化,并深刻影响着社会生产和人民生活的方方面面.每个国家都高度重视大数据技术的研究和产业发展,纷纷把大数据上升为国家 ...

好程序员大数据点睛：关于HDFS的二三事

好程序员大数据点睛：关于HDFS的二三事相关推荐

最新文章

热门文章