Hadoop学习笔记（基于《10小时入门大数据》）

HDFS

定义
设计目标
架构
安装HDFS
1. 下载安装jdk（这里就不赘述了）
2. 下载CDH（https://archive.cloudera.com/cdh5/cdh/5）
3. 解压： tar -zxvf * -C <yourpath>/
4. 修改配置：
  1. 进入你的安装目录的etc/hadoop下，修改4个文件：core-site.xml、hdf-site.xml、hadoop-env.sh、slaves（具体配置看官网指引）
  2. 特别注意core-site.xml的配置，添加hadoop的临时文件目录值：hadoop.tmp.dir
5. 格式化namenode: bin/hdfs namenode -format
6. 启动HDFS: sbin/start-dfs.sh
7. 验证是否启动成功：
  - jps
    9496 SecondaryNameNode
    9099 NameNode
    10139 Jps
    9245 DataNode
  - 浏览器
    localhost:50070
HDFS读写流程
- 写
- 读
HDFS容错
HDFS副本集策略
HDFS优缺点

优点
- 数据冗余、硬件容错
- 处理流式的数据访问
- 适合存储大文件
- 可构建在廉价机器上
缺点
- 低延迟的数据访问
- 小文件存储

YARN

YARN产生背景
YARN概述

Yet Another Resource Negotiator
通用的资源管理系统
为上层应用提供统一的资源管理和调度

YARN的架构
1. ResourceManager：RM
  - 整个集群统一时间提供服务的RM只有一个，负责集群资源的统一管理和调度
  - 处理客户端的请求：提交一个作业、杀死一个作业
  - 监控NM，一旦某个NM挂了，那么该NM上运行的任务需要告诉AM
2. NodeManager：NM
  - 整个集群中有多个，负责自己本身节点资源管理和使用
  - 定时向RM汇报本节点的资源使用情况
  - 接收并处理来自RM的各种命令：启动Container
  - 处理来自AM的命令
3. ApplicationMaster：AM
  - 每个应用程序对应一个： MR、Spark，负责应用程序的管理
  - 为应用程序向RM申请资源（Core、Memory），分配给内部task
  - 需要与NM通信：启动/停止task，task是运行在Container里面，AM也是运行在Container
4. Container
  - 封装了CPU、Memory等资源的一个容器
5. Client
  - 提交作业
  - 查询作业的运行进度
  - 杀死作业
YARN执行流程
YARN环境搭建
1. 进入你的安装目录的etc/hadoop下，修改2个文件：
  mapred-site.xml、yarn-site.xml（具体配置看官网指引）
2. 验证是否启动成功：
  - jps
    3649 NodeManager
    4069 Jps
    3545 ResourceManager
  - 浏览器
    localhost:8088
提交作业到YARN
进入share/hadoop/mapreduce目录，执行hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3

MapReduce

概述
- 源于Google的MapReduce论文，论文发表于2004年12月
- Hadoop MapReduce是Google MapReduce的克隆版
- MapReduce优点：海量数据离线处理&易开发&易运行
- MapReduce缺点：实时流式计
案例
MapReduce的架构
- 1.x
  1. JobTracker: JT
    - 作业的管理者
    - 将作业分解成一堆的任务： Task（MapTask和ReduceTask）
    - 将任务分派给TaskTracker运行
    - 作业的监控、容错处理（task作业挂了，重启task的机制）
    - 在一定的时间间隔，JT没有收到TT的心跳信息，TT可能是挂了，TT上的任务会被指派到其他的TT上去执行
  2. TaskTracker： TT
    - 任务的执行者
    - 在TT上执行Task（MapTask和ReduceTask）
    - 会与JT进行交互：执行/启动/停止作业，发送心跳信息给JT
  3. MapTask
    - 自己开发的map任务交由该Task出来
    - 解析每条记录的数据，交给自己的map方法处理
    - 将map的输出结果写到本地磁盘（有些作业仅有map没有reduce==>HDFS）
  4. ReduceTask
    - 将MapTask输出的数据进行读取
    - 按照数据进行分组传给自己编写的reduce方法处理
    - 输出结果写到HDFS
- 2.x

Hadoop学习笔记（基于《10小时入门大数据》）相关推荐

10小时入门大数据视频教程
有需要的联系我QQ:2161946976
小白怎么入门大数据行业自学课程内容有哪些
大数据行业人才的巨缺,企业对技术人才的渴求,激发了一批对大数据技术感兴趣的人的的学习欲望.小白怎么入门大数据行业?自学课程的内容有哪些?对于大数据的学习,千万不能盲目学习,先要找准方向,判定是不是真正 ...
Hadoop学习笔记(1) ——菜鸟入门
Hadoop学习笔记(1) --菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分布式系统基础架构,由Apache基金会所开发.用户能够在不了解分布式底层细节的情况下.开发分布式 ...
Hadoop学习笔记—10.Shuffle过程那点事儿
Hadoop学习笔记-10.Shuffle过程那点事儿一.回顾Reduce阶段三大步骤在第四篇博文<初识MapReduce>中,我们认识了MapReduce的八大步骤,其中在Reduc ...
学习笔记之Qt从入门到精通（三）
整理日期: 2010年4月9日本文是学习笔记之Qt从入门到精通(二)的接续 Part 3: 进阶学习 Qt4 学习笔记 Qt 可以运行在不同的平台,像是Unix/X11.Windows.Mac OS ...
Hadoop学习笔记(1)
原文:http://www.cnblogs.com/zjfstudio/p/3859704.html Hadoop学习笔记(1) --菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分 ...
Hadoop学习笔记—4.初识MapReduce
一.神马是高大上的MapReduce MapReduce是Google的一项重要技术,它首先是一个编程模型 ,用以进行大数据量的计算.对于大数据量的计算,通常采用的处理手法就是并行计算.但对许多开 ...
Hadoop学习笔记—15.HBase框架学习（基础知识篇）
Hadoop学习笔记-15.HBase框架学习(基础知识篇) HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问.HBase的目标是存储并处理大型的数据.HBase ...
Hadoop学习笔记（四）HDFS部分下
Hadoop学习笔记(四)HDFS部分下一.HDFS 的数据流 1.1 HDFS的写数据流程客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件,Nam ...
Hadoop学习笔记一简要介绍
Hadoop学习笔记一简要介绍这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的.其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了.我的这一 ...

Hadoop学习笔记（基于《10小时入门大数据》）

Hadoop学习笔记（基于《10小时入门大数据》）

HDFS

YARN

MapReduce

Hadoop学习笔记（基于《10小时入门大数据》）相关推荐

最新文章

热门文章