hadoop包含哪些技术？

1、Hadoop包含哪些技术?
Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie。

2、简介
Common：在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop Common。
Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。
MapReduce：并行计算框架，0.20前使用org.apache.hadoop.mapred旧接口，0.20版本开始引入org.apache.hadoop.mapreduce的新API。
HDFS：Hadoop分布式文件系统(Hadoop Distributed File System)。
Pig：大数据分析平台，为用户提供多种接口。
Hive：数据仓库工具，由Facebook贡献。
Hbase：类似Google BigTable的分布式NoSQL列数据库。(HBase和Avro已经于2010年5月成为顶级Apache项目)。
ZooKeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。
Sqoop：Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库(例如：MySQL, Oracle, Postgres等)中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。
Oozie：负责MapReduce作业调度。

hadoop包含哪些技术？相关推荐

基于SQL on Hadoop的数据仓库技术
http://www.uspeed.com.cn/958.html 数据仓库是企业统一的数据管理的方式,将不同的应用中的数据汇聚,然后对这些数据加工和多维度分析,并最终展现给用户.它帮助企业将纷繁浩杂 ...
猿创征文｜Hadoop大数据技术
Hadoop大数据技术 Hadoop背景 Hadoop生态圈 Hadoop模式 HDFS 概述优点缺点基本组成 NameNode Secondary NameNode DataNode YARN ...
hadoop的同类技术_Hadoop 气数已尽：逃离复杂性，拥抱云计算
虽然大数据依然如日中天,但该领域曾经的领头羊 Cloudera.Hortonworks 和 MapR 三家公司最近步履蹒跚,多少掩盖了其几分风光.作为曾经的数据宠儿,过去筹集到的巨额投资源源不断. 例 ...
hadoop需要哪些技术支持
hadoop是一个开源软件框架,可安装在一个商用机器集群中,使机器可彼此通信并协同工作,以高度分布式的方式共同存储和处理大量数据.最初,Hadoop 包含以下两个主要组件:Hadoop Distrib ...
hadoop应用开发技术..._大数据技术与应用——万物皆可数据化
万|物|皆|可|数|据|化大数据技术与应用专业概况专业名称:大数据技术与应用专业代码:610215 专业方向:数据可视化技术数据采集与处理行业趋势近几年来,互联网行业发展风起云涌, ...
大数据分析过程中包含哪些技术
所谓大数据不仅体现在数量上的庞大,还有涉及到的方面比较广泛,以及计算过程比较的庞大而高效等,大数据分析能够从海量的数据中提取出最有效的信息,在企业的营销中发挥关键性的作用,可以说谁能够更好的利用大数据 ...
Hadoop大数据技术复习资料
Hadoop大数据技术复习资料钟兴宇 1.选择题15空,共30分. Hadoop以HDFS(Hadoop Distributed File System,Hadoop 分布式文件系统)和MapR ...
大数据分析软件包含哪些技术？
大数据不仅体现在海量上,而且涉及范围广泛,而且计算过程比较庞大高效,大数据分析可以从海量数据中提取出最有效的信息,在企业营销中发挥关键作用,可以说谁能更好地利用大数据分析在竞争中处于更加有利的地位.那 ...
成都大数据Hadoop与Spark技术培训班
成都大数据Hadoop与Spark技术培训班中国信息化培训中心特推出了大数据技术架构及应用实战课程培训班,通过专业的大数据Hadoop与Spark技术架构体系与业界真实案例来全面提升大数据工程师.开 ...
Hadoop之分布式技术
Hadoop之分布式技术文章目录 Hadoop之分布式技术 1. 我们为什么需要分布式 1.1 计算问题 1.2 存储问题 2. 分布式系统概述 3. 分布式实现方案 4. 分布式系统 5. 集群 ...

hadoop包含哪些技术？

hadoop包含哪些技术？相关推荐

最新文章

热门文章