Hadoop生态系统完整组件及其在架构中的作用
（1）Hadoop生态系统
（2）、HDFS（Hadoop分布式文件系统）
HDFS是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。
（3）、Mapreduce（分布式计算框架）
MapReduce是一种计算模型，用以进行大数据量的计算。MapReduce这样的功能划分，非常适合在大量计算机组成的分布式并行环境里进行数据处理。
（4）、Hive（基于Hadoop的数据仓库）
由facebook开源，最初用于解决海量结构化的日志数据统计问题。Hive定义了一种类似SQL（传统数据库）增 删 改 查 将SQL转化为MapReduce任务在Hadoop上执行。通常用于离线分析。
（5）、Hbase（分布式列存数据库）
HBase是一个针对结构化数据的可伸缩、高可靠、高性能、同时，HBase中保存的数据可以使用MapReduce来处理，它将数据存储和并行计算完美地结合在一起。开源免费
（6）、Zookeeper（分布式协作服务）
解决分布式环境下的数据管理问题：统一命名，状态同步，集群管理，配置同步等。用作分布式协调
（7）、Sqoop（数据同步工具）
Sqoop是SQL-to-Hadoop的缩写，主要用于传统数据库和Hadoop之前传输数据（数据迁移） 数据的导入和导出本质上是Mapreduce程序，充分利用了MR的并行化和容错性。
（8）、Pig（基于Hadoop的数据流系统）
由yahoo!开源，设计动机是提供一种基于MapReduce的ad-hoc(计算在query时发生)数据分析工具 通常用于进行离线分析。
（9）、Flume（日志收集工具）
Cloudera开源的日志收集系统，具有分布式、高可靠、高容错、易于定制和扩展的特点。Flume数据流提供对日志数据进行简单处理的能力，如过滤、格式转换等。Flume还具有能够将日志写往各种数据目标（可定制）的能力。总的来说，Flume是一个可扩展、适合复杂环境的海量日志收集系统。
Hadoop生态系统完整组件及其在架构中的作用相关推荐
- 【大数据】Hadoop生态系统及其组件
Hadoop 生态系统及其组件 1.Hadoop 生态系统的组成 本篇文章将向大家介绍 Hadoop 生态系统的不同组件.也正是因为这些组件,使得 Hadoop 如此强大.通过学习 HDFS 和 HD ...
- Hadoop生态系统常用组件导图
Hadoop生态系统主要组件导图: 看大图
- SpringBoot2 整合 Zookeeper组件，管理架构中服务协调
本文源码:GitHub·点这里 || GitEE·点这里 一.Zookeeper基础简介 1.概念简介 Zookeeper是一个Apache开源的分布式的应用,为系统架构提供协调服务.从设计模式角度来 ...
- Hadoop生态系统各组件功能
参考: Spark编程基础(Scala版) 林子雨 赖永炫 陶继平 人民邮电出版社出版 2018-07-01 1.HDFS 分布式文件系统 Hadoop分布式文件系统HDFS是针对谷歌分布式文件系统( ...
- 网关与微服务的概念及在微服务架构中的作用详解
网关的概念 网关(gateway),又称为网间连接器.协议转换器: 网关是在采用不同体系结构或协议的网络之间进行互通时,用于提供协议转换.路由选择.数据交换等网络兼容功能的设施: 网关在传输层上以实现 ...
- mysql blackhole_MySQL的BlackHole引擎在主从架构中的作用
MySQL在5.x系列提供了Blackhole引擎–"黑洞". 其作用正如其名字一样:任何写入到此引擎的数据均会被丢弃掉, 不做实际存储:Select语句的内容永远是空. 和Lin ...
- Hadoop 生态系统
当下 Hadoop 已经成长为一个庞大的生态体系,只要和海量数据相关的领域,都有 Hadoop 的身影.下图是一个 Hadoop 生态系统的图谱,详细列举了在 Hadoop 这个生态系统中出现的各种数 ...
- Hadoop概念学习系列之Hadoop 生态系统
当下 Hadoop 已经成长为一个庞大的生态体系,只要和海量数据相关的领域,都有 Hadoop 的身影.下图是一个 Hadoop 生态系统的图谱,详细列举了在 Hadoop 这个生态系统中出现的各种数 ...
- Hadoop生态系统应用状况大调查：互联网篇！
国内外对hadoop生态系统的生存状况争论不休,既然如此,我们不妨摸底调查一番,看看国内一线互联网公司(具备自我搭建大数据平台能力的厂商)的大数据平台是如何搭建的?是否基于Hadoop生态系统?Had ...
最新文章
- oracle中的赋权
- Django----缓存
- Matlab C++混合编程 在VisualStudio下的编程 使用了Opencv库
- Linux中常用的操作指令（随时更新）
- 通过脚本启动批量服务
- 打印pdf就一页_我就是死都不想在mac上装第三方pdf软件
- 带你认识4种设计模式：代理模式、装饰模式、外观模式和享元模式
- mysql数据库设计原则_mysql数据库设计总结
- SpringBoot实战（十四）:Spring Boot Admin 集成安全模块
- ASP.NET MVC4 高级编程
- 靠天收粮江西 国稻种芯·中国水稻节：锐变高标准农田示范省
- 别看 DNS 污染闹得欢，现在我用 CoreDNS 将它拉清单
- 忠告：使用TNT版本PD的不要升级新版本Mac系统
- 【玩转微信公众平台之九】 第一个功能：消息自动回复
- 《传奇之王》风波不断 编剧替柳云龙打抱不平_0
- linux查看运行的程序c pu,在Linux系统中，采用（)一命令查看进程输出的信息，得到下图所示的结果。系统启动时最先运行的进程是...
- Coding：用指针的方法，将字符串首尾对调输出
- 西方经济学思想发展脉络
- 移动UI 设计有哪些配色技巧
- html滚动字幕如何调色,如何通过制作滚动字幕的软件实现这种片尾的向上滚动字幕效果...
热门文章
- python 日常记录笔记
- js 获取指定日期的前几天日期或后几天日期
- Incorrect string value: '\xF0\x9F\x98\x82' for column '' at row 1
- 学生用计算机的功能,怎么使用学生专用计算器？ 来看看吧
- C# + opengl + Tao 环境配置
- tao.opengl + C#
- 献给准大三的童鞋们,想要在暑假里找个java实习工作.
- PageAdmin CMS仿站教程，自己建网站就是如此简单
- 将think-installer类库“v1.0.0“更新到“v2.0.0“
- 计算机开机后无法网络拨号怎样处理,电脑不能上网了怎么办？教你宽带故障排查方法...