Hadoop核心组件
1、Hadoop生态系统
2、HDFS(Hadoop分布式文件系统)
源自于Google的GFS论文,发表于2003年10月,HDFS是GFS克隆版。
是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型,通过流式数据访问,提供高吞吐量应用程序数据访问功能,适合带有大型数据集的应用程序。
Client:切分文件;访问HDFS;与NameNode交互,获取文件位置信息;与DataNode交互,读取和写入数据。
NameNode:Master节点,在hadoop1.X中只有一个,管理HDFS的名称空间和数据块映射信息,配置副本策略,处理客户端请求。
DataNode:Slave节点,存储实际的数据,汇报存储信息给NameNode。
Secondary NameNode:辅助NameNode,分担其工作量;定期合并fsimage和fsedits,推送给NameNode;紧急情况下,可辅助恢复NameNode,但Secondary NameNode并非NameNode的热备。
3、Mapreduce(分布式计算框架)
源自于google的MapReduce论文,发表于2004年12月,Hadoop MapReduce是google MapReduce 克隆版。
源自于google的MapReduce论文
MapReduce是一种计算模型,用以进行大数据量的计算。其中Map对数据集上的独立元素进行指定的操作,生成键-值对形式中间结果。Reduce则对中间结果中相同“键”的所有“值”进行规约,以得到最终结果。MapReduce这样的功能划分,非常适合在大量计算机组成的分布式并行环境里进行数据处理。
JobTracker:Master节点,只有一个,管理所有作业,作业/任务的监控、错误处理等;将任务分解成一系列任务,并分派给TaskTracker。
TaskTracker:Slave节点,运行Map Task和Reduce Task;并与JobTracker交互,汇报任务状态。
Map Task:解析每条数据记录,传递给用户编写的map(),并执行,将输出结果写入本地磁盘(如果为map-only作业,直接写入HDFS)。
Reducer Task:从Map Task的执行结果中,远程读取输入数据,对数据进行排序,将数据按照分组传递给用户编写的reduce函数执行。
Mapreduce处理流程,以wordCount为例:
4、Hive(基于Hadoop的数据仓库)
由facebook开源,最初用于解决海量结构化的日志数据统计问题。
Hive定义了一种类似SQL的查询语言(HQL),将SQL转化为MapReduce任务在Hadoop上执行。
通常用于离线分析。
5、Hbase(分布式列存数据库)
源自Google的Bigtable论文,发表于2006年11月,HBase是Google Bigtable克隆版
HBase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。和传统关系数据库不同,HBase采用了BigTable的数据模型:增强的稀疏排序映射表(Key/Value),其中,键由行关键字、列关键字和时间戳构成。HBase提供了对大规模数据的随机、实时读写访问,同时,HBase中保存的数据可以使用MapReduce来处理,它将数据存储和并行计算完美地结合在一起。
数据模型:Schema-->Table-->Column Family-->Column-->RowKey-->TimeStamp-->Value
6、Zookeeper(分布式协作服务)
源自Google的Chubby论文,发表于2006年11月,Zookeeper是Chubby克隆版
解决分布式环境下的数据管理问题:统一命名,状态同步,集群管理,配置同步等。
7、Sqoop(数据同步工具)
Sqoop是SQL-to-Hadoop的缩写,主要用于传统数据库和Hadoop之前传输数据。
数据的导入和导出本质上是Mapreduce程序,充分利用了MR的并行化和容错性。
8、Pig(基于Hadoop的数据流系统)
由yahoo!开源,设计动机是提供一种基于MapReduce的ad-hoc(计算在query时发生)数据分析工具
定义了一种数据流语言—Pig Latin,将脚本转换为MapReduce任务在Hadoop上执行。
通常用于进行离线分析。
9、Mahout(数据挖掘算法库)
Mahout起源于2008年,最初是Apache Lucent的子项目,它在极短的时间内取得了长足的发展,现在是Apache的顶级项目。
Mahout的主要目标是创建一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout现在已经包含了聚类、分类、推荐引擎(协同过滤)和频繁集挖掘等广泛使用的数据挖掘方法。除了算法,Mahout还包含数据的输入/输出工具、与其他存储系统(如数据库、MongoDB 或Cassandra)集成等数据挖掘支持架构。
10、Flume(日志收集工具)
Cloudera开源的日志收集系统,具有分布式、高可靠、高容错、易于定制和扩展的特点。它将数据从产生、传输、处理并最终写入目标的路径的过程抽象为数据流,在具体的数据流中,数据源支持在Flume中定制数据发送方,从而支持收集各种不同协议数据。同时,Flume数据流提供对日志数据进行简单处理的能力,如过滤、格式转换等。此外,Flume还具有能够将日志写往各种数据目标(可定制)的能力。总的来说,Flume是一个可扩展、适合复杂环境的海量日志收集系统。
Hadoop核心组件相关推荐
- 学习笔记Hadoop(二)—— Hadoop介绍(2)——Hadoop 核心组件
二.Hadoop 核心组件 2.1.Apache Hadoop简介 Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架.它实现了Map/Reduce编程范型,计算任务会 ...
- Hadoop核心组件以及发行版
Hadoop核心组件之分布式存储框架HDFS 源于Google的GFS论文,论文发表与2003年10月 HDFS时GFS的克隆版 HDFS特点:扩展性很好.容错性很好.能够存储海量数据 HDFS将文件 ...
- hadoop学习——Hadoop核心组件
hadoop学习--Hadoop核心组件 下图展示了hadoop生态系统的核心组件. 下面来简单介绍各个组件的作用: HDFS(Hadoop distribute file system)--Hado ...
- Hadoop核心组件的节点管理(四)
如有不理解的请先参考 Hadoop核心组件的介绍(一) https://mp.csdn.net/postedit/102629533 Hadoop核心组件的HDFS安装与配置(二) https://m ...
- 五、Hadoop核心组件之HDFS
上篇博客介绍了Hadoop的本地模式和伪分布式,本篇主要介绍Hadoop的核心组件HDFS,关注专栏<破茧成蝶--大数据篇>查看相关系列的文章~ 目录 一.HDFS的产生背景 二.HDFS ...
- 分布式计算框架Hadoop核心组件
Hadoop作为成熟的分布式计算框架在大数据生态领域已经使用多年,本文简要介绍Hadoop的核心组件MapReduce.YARN和HDFS,以加深了解. 1.Hadoop基本介绍 Hadoop是分布式 ...
- Hadoop核心组件详解—HDFS、YARN、MapReduce
Hadoop 是一个开源的分布式计算和存储框架,它的作用非常简单,就是在多计算机集群环境中营造一个统一而稳定的存储和计算环境,并能为其他分布式应用服务提供平台支持,相当于在某种程度上将多台计算机组织成 ...
- 分布式计算框架Hadoop核心组件概述
Hadoop作为成熟的分布式计算框架在大数据生态领域已经使用多年,本文简要介绍Hadoop的核心组件MapReduce.YARN和HDFS,以加深了解. 1.Hadoop基本介绍 Hadoop是分布式 ...
- 在Hadoop核心组件中,我愿称 YARN 为最强!(附源码)
曾有人调侃:HBase 没有资源什么事情也做不了,Spark 占用了资源却没有事情可做? 那 YARN了解一下? 01 YARN! 伴随着Hadoop生态的发展,不断涌现了多种多样的技术组件 Hive ...
- Hadoop核心组件之HDFS,MapReduce,YARN概述
多框架资源统一调度:多个框架都由YARN统一调度
最新文章
- “Linux频道”有链接打不开
- CMake 指定安装目录
- SSH基本原理和免密码登录
- php 时间错误,PHP xdebug调试trace记录时间错误
- 今天看到一篇小册子上的话
- 2场直播丨OGG日常运维及故障处理、云原生数据仓库AnalyticDB
- GPS/BDS:AGPS定位基本机制
- google嗅探(简洁实用版)
- 黑马程序员JUC并发教程笔记(一)
- SPSS因子分析经典案例分享
- C#调用WPS转换WORD,EXCEL,PPT文件为PDF
- pci-e 无线网卡 linux,Fedora14 无线网卡(瑞昱 RTL8191SE Wireless LAN 802.11N PCI-E NIC)驱动安装...
- 机器学习基本概念简介上
- Python教程(十)--if 实例运用(棒子老虎鸡游戏)
- unity 跨平台动态生成二维码 免费下载
- cmd命令行进行C++代码编译运行;实现进程调度和存储管理
- 第35篇 网络(五)获取本机网络信息
- Conhash 和 Maglev hash对比
- 为什么一个数的平方,会变负数?结果令人惊讶(sq代码解析)
- TechBeat: 强化学习ppo让决策智能演化出无限可能