大数据简介

一、大数据特征 - 6V

  1. 数据体量大，一般从TB级别开始计算
  2. 数据种类和来源多
  3. 数据的增长速度越来越快
  4. 数据的价值密度越来越低，但是这不意味着想要的数据越来越少，相反，想要的数据越来越多的，但是样本总量的增长速度是要高于想要的数据的增长速度的
  5. 数据的真实性/质量
  6. 数据的连通性
  7. 数据的动态性、数据的可视化、合法性

二、概述

  1. Hadoop是Apache提供的一个开源的、可靠的、可扩展的系统架构，可以利用分布式架构来进行海量数据的存储以及计算
  2. Hadoop之父：Doug Cutting（道格·卡丁）
  3. 需要注意的是Hadoop处理的是离线数据，即在数据已知以及不要求实时性的场景下使用
  4. Hadoop发行版:
    a. Apache版本最基本的版本，入门学习较好。原生版本管理相对比较混乱
    b. CDH版本是Cloudera提供的商业版本，相对Apache Hadoop更加的稳定和安全
    c. Hortonworks文档相对完善友好

三、 版本：

  1. Hadoop1.0：包含Common，HDFS，和MapReduce ，停止更新
  2. Hadoop2.0：包含Common，HDFS，和MapReduce，YARN。1.0和2.0完全不兼容，Hadoop2.8之前的不包含ozone
  3. Hadoop3.0：包含Common，HDFS，和MapReduce，YARN和ozone。

四、模块

  1. Hadoop Common: 基本模块
  2. Hadoop Distributed File System (HDFS™): 分布式存储
  3. Hadoop YARN:进行任务调度和资源管理
  4. Hadoop MapReduce: 分布式计算
  5. Hadoop Ozone:对象存储

五、安装方式

  1. 单机模式：只能启动MapReduce
  2. 伪分布式：只能启动HDFS，MapReduce和YARN的大部分功能
  3. 完全分布式：能启动Hadoop的所有功能

HDFS

一、概述

  1. HDFS是Hadoop提供一套用于进行分布式存储的文件系统
  2. HDFS根据Google的GFS来进行实现的

特点：

  1. 能够存储超大文件 - 切块
  2. 快速的应对和检测故障 - 心跳
  3. 能够在相对廉价的机器上来进行动态横向扩展
  4. 不支持低延迟响应
  5. 不建议存储小文件 - 每一个小文件对应一条元数据，大量的硒筽啊文件就会产生大量的元数据。元数据过多导致内存被大量占用，导致查询效率降低。
  6. 简化的一致性模型，一次写入多次读取，不允许修改，但允许追加写入。
  7. 不支持强事务或者不支持事务，在实际开发中，在样本量足够大的前提下，允许存在一定的容量误差

二、基本概念

  1. HDFS主要包含2类进程：NameNode和DataNode
  2. 在HDFS中，上传的文件自动的进行切块，每一个数据块称之为一个Block
  3. HDFS会自动对数据进行备份，每一个备份称之为副本（replication/replicas）默认为3
  4. HDFS仿照Linux设置一套虚拟的文件系统,根路径/

三、Block

  1. Block是HDFS中存储数据的基本单位，即在HDFS中所有数据都是以Block形式存储
  2. Block默认是128M大小，可以通过dfs.blocksize(在hdfs-site.xml，单位是字节)来设置
  3. 如果一个文件不到一个Block的大小，那么注意，这个文件本身多大block就是多大
  4. 在HDFS中，会给每一个Block自动分配一个全局递增的Block ID
  5. 在HDFS中，会给每一个Block分配一个时间戳（Generation Stamp）编号
  6. 切块的意义
    • 为了能够存储超大文件
    • 为了能够进行快速备份

四、NameNode

  1. NameNode是HDFS中的主节点（Master），作用：管理DataNode和记录与元数据（metadata）
  2. 元数据是描述数据的数据 —在HDFS中，元数据对存储的文件进行描述，主要包含
    • 文件的存储路径，例如/txt/a.txt
    • 文件的权限
    • 上传的用户和用户组
    • 文件的大小
    • Block的大小
    • 文件和BlockID的映射关系
    • 副本数量
    • BlockID和DataNode的映射关系
  3. 元数据是存储在内存以及磁盘中
    • 维系在内存中的目的是为了快速查询
    • 维系在磁盘中的目的是为了崩溃恢复
  4. 元数据在磁盘中的存储路径由hadoop.tmp.dir(core-site.xml)属性来决定的
  5. 元数据的记录和fsimage以及edits文件相关
    • edits记录写操作
    • fsimage：记录元数据。fsimage中的元数据往往是落后于内存中的元数据
  6. 当NameNode接受到写请求的时候，NameNode会先将这个写请求记录到edits-iprogress中，如果记录成功则修改内存中的元数据。内存中的元数据修改成功之后会给客户端返回一个成功信号。这个过程中fsimage文件中的元数据没有被修改
  7. 当达到指定条件的时候，触发edits_inprogress文件的滚动，edits_inprogress会滚动生成edits文件，会产生一个新的edits_inprogress。在edits_inprogress滚动过程中，会触发fsimage文件的更新，会根据edits_inprogress中的命令去修改fsimage文件中的元数据
  8. edits_inprogress文件的滚动条件
    • 空间：当edits_inprogress文件达到指定大小（64m通过f s.checkpoint.size，单位是字节 - core-site.xml)的时候，会产生滚动
    • 时间：当距离上一次滚动的时间间隔（默认3600s，通过f s.checkpoint.period来调节，默认单位是秒-core site.xml）达到指定大小，会产生滚动
    • 重启：当NameNode重启的时候，自动触发edits——inprogress文件的滚动
    • 强制滚动：可以利用 hadoop dfsadmin -rollEdits来强制滚动
  9. NameNode通过心跳机制来管理DataNode， DataNode定时的通过RPC的方式来给NameNode发送心跳。
  10. 默认情况下是每隔3s给NameNode发送心跳，可以通过dfs.heartbeat.interval来修改，单位是秒 —hdfs site.xml
  11. NameNode超过10min没有收到DataNode的心跳，就会认为这个DataNode已经Lost（丢失），那么此时NameNode就会讲这个DataNode上的Block备份到其他节点，保证整个集群的副本数量
  12. 心跳信息
    • 当前DataNode的状态（预服役、服役、预退役）
    • 当前DataNode存储的Block信息
    • clusterid：集群编号。当NameNode被格式化的时候，会自动计算产生一个clusterid，每格式化一次就会重新计算产生，当HDFS集群启动的时候，NameNode会将clusterid分发给每一个DataNode的信息之后，会先校验clusterid是否一致；同样，DataNode收到NameNode的指令的时候也会校验clusterid。DataNode只能接受一次clusterid
  13. 当NameNode重启的时候，会自动触发edits_inprogress文件的滚动，产生一个新的edits文件和一个新的edits_inprogress文件，同时更新fsimage。当更新完fsimage之后，NameNode就会将fsimage文件中的内容加载到内存中，加载完成后，NameNode等待DataNode的心跳。如果在指定时间内没有收到心跳，则认为节点丢失重新备份。如果收到DataNode的心跳，那么NameNode会校验这个心跳信息，这个过程称之为安全模式。在安全模式中，NameNode如果校验失败，则试图恢复数据，恢复完成之后会重新校验；如果校验成功，则自动退出安全模式。
  14. 当NameNode重启的时候，自动进入安全模式，实际开发过程中，如果进入安全模式，需要等待NameNode自动退出安全模式，但是在合理的时间内，NameNode没有退出安全模式，就说明数据产生了不可挽回的丢失，此时需要强制退出安全模式（hadoop afsadmin -safemode leave）
  15. 在安全模式中，HDFS不对外提供写服务
  16. 正因为有安全模式的存在所以在为分布式中副本数量设置为1；

五、多副本的放置策略

  1. 第一个副本

    • 如果集群内部上传，那么谁上传第一个副本就放在谁身上
    • 如果是集群外部上传，NameNode会选择相对较闲的DataNode的节点存储数据
  2. 第二个副本
    • Hadoop2.7之前：第二个副本是放在和第一个副本不同机架的节点上
    • Hadoop2.7开始：第二个副本是放在和第一个副本相同机架的节点上
  3. 第三个副本
    • Hadoop2.7之前：第三个副本是放在和第二个副本相同机架的节点上
    • Hadoop2.7开始：第三个副本是放在和第二个副本不同机架的节点上
  4. 更多副本：那个几点相对空闲就放在谁身上

六、 机架感知策略

  1. 在HDFS中默认没有启用，需要在hadoop-site.xml中配置topology.script.file.name开启机架感知策略
  2. HDFS的机架感知策略是通过指定的脚本来进行配置，这个脚本可以是python和shell，所谓的机架就是一个映射，只需要将DataNode的主机名或者ip映射到值上就对应了机架
  3. 机架指的是逻辑机架不是物理机架，允许将一个或几个物理机架上的节点映射到同一个逻辑机架上，但是实际开发中，一般是一个物理机架对应一个逻辑机架

七、DataNode

  1. DataNode是HDFS中的从节点，作用：存储数据，数据以block的形式来存储
  2. DataNode会将数据存储在磁盘中，在磁盘上的存储位置由hadoop.tmp.dir属性来决定
  3. DataNode的状态:预服役，服役，预退役，退役
  4. DataNode会主动给NameNode发送心跳来进行注册

八、SecondaryNameNode

  1. SecondaryNameNode并不是NameNode备份，而是辅助NameNode进行edits_inprogress文件的滚动和fsimage的更新
  2. 在HDFS集群中，如果存在SecondaryNameNode，edits_inprogress文件的滚动和fsimage的更新由SecondaryNameNode来做，如果不存在，上述事情由NameNode自己来做，存活与否不影响集群向外提供服务，只会影响效率
  3. 在HDFS集群中，支持的结构一般是有两种
    • 1个NameNode+1个SecondaryNameNode+多个DataNode
    • 2个NameNode+多个DataNode
  4. 因为在HDFS中，NameNode是核心节点，所以一般要考虑NameNode的备份，那么此时就需要系用双NameNode机制，一个处于active状态，另一个处于备份状态，当active的NameNode宕机后，备份的立即切换为active，在实际工作中以第二方案为主，这样实现了集群的高可用（HA）。

九、回收站机制

  1. 在HDFS中，回收站机制默认不开启，即删除命令会立即生效，
  2. 如果要开启回收站机制，要在core-site.xml中配置

十、dfs目录

  1. dfs目录实际上就是HDFS的数据目录，由hadoop.tmp.dir属性来决定存储路径
  2. dfs子目录
    a. data 对应datanode数据的存储路径
    b. name 对应namenode数据的存储路径
    c. namesecondary 对应namesecondary数据的存储路径
  3. 实际开发中，三个子目录应该出现在三个不同的节点上
  4. in_use.lock用于标记是否已经启动对应的进程
  5. 每一个blk文件对应一个.meta,这个.meta文件可以认为是对blk的校验
  6. HDFS在第一次启动的时候，间隔1min之后出发edits_inprogress文件的滚动，之后就按照指定的条件进行滚动
  7. 在HFDS中，每一次写操作看成一次事务，分配一个全局递增的编号，简称txid
  8. 文件上传完成之后不能修改
  9. fsimage_XXXX.md5是利用了md5加密算法对fsimage_xxxx来进行校验
  10. version文件中包含的主要内容
    • clusterID：集群编号 - 本质上是进行校验的
    • storageType：节点类型
    • blockpooIID：块池编号

Hadoop流程

写流程 -put

  1. 客户端发起RPC请求到NameNode要求上传文件
  2. NameNode收到请求之后会进行校验
    • 校验上传的路径是否有写入权限
    • 检验上传的路径下是否有同名文件
  3. 如果校验失败，直接报错，如果校验成功，则NameNode会修改edits_inprogress,更新内存中的元数据，最后会给客户端返回一个允许上传的信号。
  4. 客户端收到信号之后，会给NameNode发送请求，请求获取第一个Block的存储位置
  5. NameNode收到请求之后，会等待DataNode的心跳，然后选择符合要求的节点（副本放置策略），将节点位置（默认是3个）放入队列中返回给客户端
  6. 客户端收到队列之后，会从队列中将所有的位置去除，然后选择一个较近的节点将第一个Block的第一个副本写入，客户端同时会告诉第一个副本所在的节点两个副本的存储位置，第一个副本所在的节点就会通过管道（pipeline，本质就是NIO Channel）将第二个副本写入对应的节点同时告诉第二个副本所在的节点最后一个副本的存储位置，第二个副本所在的节点通过管道将第三个副本写入对应的节点；第三个副本写完之后，会给第二个副本所在的节点返回一个ack（确认字符）信号，第二个副本所在的节点会给第一个副本所在的节点返回一个ack；第一个副本所在的节点会给客户端返回一个ack
  7. 客户端收到ack之后，会向namenode发送请求要下一个Block的存储位置，重复4，5，6三个步骤
  8. 当写完所有的数据之后，客户端会给NameNode发送信号，请求NameNode关闭文件。文件一旦关闭就不能再修改了。

读流程 -get

  1. 客户端发起RPC请求到NameNode要求下载指定文件
  2. NameNode在收到请求之后会查询元数据确定是否有指定的文件，如果没有直接报错，如果有，则给客户端返回一个信号表示允许读取
  3. 客户端收到信号之后，会再给NameNode发送请求，请求获取这个文件的第一个block的存储位置
  4. NameNode在收到请求之后，会将第一个Block的存储位置（默认是3个）放到一个队列中返回客户端
  5. 客户端收到队列之后，会从队列中将block的位置全部取出来，从中选择一个较近（网络拓扑距离）的DataNode来读取第一个Block
  6. 客户端读取完Block之后，会进行checksum（校验和 - 实际上就是利用.meta文件进行校验）验证，如果校验失败，则客户端会给NameNode发送信号，重新选择节点重新读取；如果校验成功，那么客户端会再向NameNode要下一个Block的地址，重复4，5，6三个步骤
  7. 当客户端读取完最后一个Block的时候，NameNode就会关闭文件（实际就是关流）

删流程 -rmr

  1. 客户端发起RPC请求到NameNode要求删除指定的文件
  2. NameNode收到请求后，先记录edits_inprogress文件，然后修改内存中的元数据，然后NameNode就会给客户端返回一个成功信号，但是这个过程中，注意文件并没有从HDFS上移除而是依然存储在DataNode上
  3. NameNode等待DataNode的心跳，收到心跳信息之后，NameNode就会校验这个心跳信息（比对元数据和心跳信息中的BlockID是否一致），然后NameNode就会进行心跳响应，要求DataNode删除对应的Block
  4. DataNode收到心跳响应之后才会删除Block，此时文件才真正的从HDFS上移除

大数据技术之HFDS相关推荐

  1. 关于大数据技术的演讲_大数据以及大数据技术都包括哪些内容

    大数据经过多年的发展,目前在概念上已经有了更多的含义,从不同的角度来看待大数据也会有不同的定义,但是总的来说,大数据可以用三个方面来进行概括,其一是"新的价值领域";其二是&quo ...

  2. 倒计时1天 | 2019 中国大数据技术大会（BDTC）报名通道即将关闭（附参会提醒）...

    2019年12月5-7日,由中国计算机学会主办,CCF 大数据专家委员会承办,CSDN.中科天玑数据科技股份有限公司协办的中国大数据技术大会(BDTC 2019)将于北京长城饭店隆重举行.届时,超过百 ...

  3. 一场高质量的技术盛会怎样炼成？「2019中国大数据技术大会」蓄势待发，还不快上车？...

    2019年12月,一场轰动国内产业界.学术界.科研界及投资领域的顶级科技盛会即将拉开帷幕,它涵盖大数据.人工智能.云计算.AIoT.金融科技.智能制造等十几个前沿领域的热门话题.在过去十二年里,这场盛 ...

  4. 5折票倒计时3天 | 超干货议程首度曝光！2019 中国大数据技术大会邀您共赴

    (大会官网https://t.csdnimg.cn/U1wA) 2019年,大数据与人工智能的热度已经蔓延到了各个领域,智能交通.AIoT.智慧城市,智慧物流.AI中台.工业制造等各种黑科技成为热搜名 ...

  5. 「2019中国大数据技术大会」超值学生票来啦！

    大会官网:https://t.csdnimg.cn/U1wA 经过11年的沉淀与发展,中国大数据技术大会见证了大数据技术生态在中国的建立.发展和成熟,已经成为国内大数据行业极具影响力的盛会,也是大数据 ...

  6. 顶尖技术专家严选，15场前沿论坛思辨，2019中国大数据技术大会邀您共赴

    扫码了解2019中国大数据技术大会(https://t.csdnimg.cn/IaHb)更多详情. 2019中国大数据技术大会(BDTC 2019)将于12月5日-7日在北京长城饭店举办,本届大会将聚 ...

  7. 限时早鸟票 | 2019 中国大数据技术大会（BDTC）超豪华盛宴抢先看！

    2019 年12月5-7 日,由中国计算机学会主办,CCF 大数据专家委员会承办,CSDN.中科天玑数据科技股份有限公司协办的 2019 中国大数据技术大会,将于北京长城饭店隆重举行.届时,超过百位技 ...

  8. 倒计时1天，2018中国大数据技术大会报名通道即将关闭（附参会提醒）

    2018 年12 月 6-8 日,由中国计算机学会主办,CCF大数据专家委员会承办,CSDN.中科天玑数据科技股份有限公司协办的 2018 中国大数据技术大会(BDTC),携主题"大数据新应 ...

  9. 盛会再临，2018中国大数据技术大会（BDTC）首曝日程及议题

    满目皆干货,俯仰尽拾珠.作为年度技术趋势与行业应用的风向标,连续成功举办十一年的中国大数据技术大会(BDTC)携主题"大数据新应用"再度强势来袭,稳踏技术时代浪潮,势将引爆今冬技术 ...

最新文章

  1. Error: cannot allocate vector of size XX Gb
  2. mybatis中的resultMap与resultType、parameterMap与 parameterType的区别
  3. liunx服务（Nginx服务器 web服务器源码包和rpm 服务平滑升级）
  4. OpenCV2马拉松第22圈——Hough变换直线检測原理与实现
  5. jedis使用_Mybatis的二级缓存、使用Redis做二级缓存
  6. android gps 锁屏更新坐标_把手机锁屏设置成任意字体，悄悄给男（女）朋友一个惊喜吧...
  7. apache ignite_从In Memory Data Grid，Apache Ignite快速入门
  8. python之条件、循环语句
  9. 【Flink】FLink 1.13 3 种 命令客户端 GenericCLI 、 FlinkYarnSessionCli、DefaultCLI
  10. Jenkins打卡Day19-Jenkins重启关闭服务
  11. PAT甲级1023 大整数加法
  12. 2.3 利用FTP服务器下载和上传文件
  13. .Net Framework3.5 的 NetFx3.cab 资源
  14. 编程语言Netty原理浅析
  15. 关于Java堆栈的理解与说明
  16. python+OpenCv笔记（三）：修改像素点、感兴趣区域、获取图像属性
  17. NameNode格式化——组件恢复，数据丢失
  18. 机器自动翻译古文拼音 - 十大宋词 - 念奴娇 赤壁怀古 苏轼
  19. 新浪微博小工具--PC遥控器1.0发布
  20. DNF60版本阿里云服务器+本地客服端教程①服务端搭建

热门文章

  1. 互联网吞噬世界，“大数据”吞噬互联网！
  2. 【MES】MES的另一视角
  3. eclipes安装lombok
  4. java-IO流-搜索含java字符的文件问题
  5. 解压缩的mysql_Windows 上解压缩版 MySQL 配置
  6. 仿真通过AXI_lite接口读写寄存器时axi_awready信号无法拉高的一种原因
  7. python获取erp数据_python自学之路-数据读取
  8. 基于Java毕业设计弹幕视频网站源码+系统+mysql+lw文档+部署软件
  9. 前端实现对ZIP 压缩文件解压，实现前端直接展示结果，比如图片,压缩包等 audio对象进行播放
  10. 两个同品牌路由器有线连接