大数据处理架构Hadoop

Hadoop项目结构

Hive 数据仓库：把SQL语句转换成MapReduce作业
Pig流数据处理：一个基于Hadoop的大规模数据分析平台提供类似SQL的查询语言pig Latin
Oozie作业流调度系统：Hadoop上的工作流管理系统
Zookeeper分布式协调服务：提供分布式协调一致性服务
HBase列族数据库：Hadoop上的非关系型的分布式数据库（随机读写）
Flume 日志收集分析框架：一个高可用的，高可靠的分布式的海量日志采集、聚合和传输的系统
Sqoop 数据导入导出：用于Hadoop与传统数据库之间进行数据传递（关系型数据库到HDFS、HBase、Hive互导）
YARN框架：资源管理和调度器
MapReduce：专门做离线计算和批处理
Tze：把很多的MapReduce作业进行分析优化构建成有向无环图
Spark：逻辑与MapReduce是一样的，也是用Reduce函数去做数据处理（区别：Spark基于内存处理，MapReduce基于磁盘处理的，比MapReduce高一个数量级）
Ambari 部署工具：Hadoop快速部署工具支持Apache Hadoop集群的供应、管理和监控

本文笔记来自中国大学MOOC 厦门大学林子雨老师的《大数据原理与应用》

大数据处理架构Hadoop相关推荐

大数据技术与架构——（二）大数据处理架构Hadoop（上）
文章目录 1.Hadoop概述 1.1Hadoop简介 1.2Hadoop发展简史 1.3Hadoop的特性 1.4Hadoop的应用现状 1.5 Apache Hadoop版本演变 1.6 Hado ...
大数据技术原理与应用（第二章大数据处理架构Hadoop）
目录 2.1Hadoop简介 HDFS(分布式文件系统) MapReduce(分布式并行编程框架) Hadoop的特点 Hadoop的应用编辑Hadoop版本的变化 2.2Hadoop项目结构 T ...
第二章：大数据处理架构Hadoop
本章内容: 1.Hadoop的发展历程 2.Hadoop生态系统的各个组件及其功能 3.Hadoop的安装和使用方法 4.Hadoop集群的部署和使用方法 1.Hadoop简介 Hadoop是Apac ...
大数据技术原理与应用----大数据处理架构Hadoop
一.Hadoop简介及其应用现状 1.Hadoop简介 Hadoop(是大数据技术的集合体,一整套解决方案的统称)是由Java开发的,支持多种编程语言. 2.Hadoop的理论基础 (1)Hadoop ...
1.大数据处理架构Hadoop
一.Hadoop简洁二.Hadoop特性三.Hadoop版本演变丰富的Hadoop生态系统上面中组件以及对应的功能一.Hadoop集群中节点类型以及作用 Hadoop框架两大核心设计: (1 ...
第二章-大数据处理框Hadoop
第二章-大数据处理框Hadoop 文章目录第二章-大数据处理框Hadoop Hadoop简介 Hadoop概念 Hadoop版本 Hadoop优化与发展 Hadoop生态系统 Hive Pig Ha ...
大数据处理架构演进历程，文末留言有机会获取Flink图书
关注 iteblog_hadoop 公众号并在本文末评论区留言(认真写评论,增加上榜的机会).留言点赞数排名前6名的粉丝,各免费赠送一本<深入理解Flink - 实时大数据处理实战>,活动 ...
云计算与大数据第15章分布式大数据处理平台Hadoop习题带答案
第15章分布式大数据处理平台Hadoop习题 15.1 选择题 1.分布式系统的特点不包括以下的( D ). A. 分布性 B. 高可用性 C. 可扩展性 D．串行 ...
大数据系统架构-Hadoop生态系统
Hadoop是较早用于处理大数据集合的分布式存储计算基础架构,通过Hadoop,用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的为例执行告诉运算和存储.简单来说,Hadoop是一 ...

大数据处理架构Hadoop

Hadoop项目结构

大数据处理架构Hadoop相关推荐

最新文章

热门文章