2021大数据领域优质创作博客，带你从入门到精通，该博客每天更新，逐渐完善大数据各个知识体系的文章，帮助大家更高效学习。

有对大数据感兴趣的可以关注微信公众号：三帮大数据

Hadoop介绍

Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。

狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：

HDFS（分布式文件系统）：解决海量数据存储

MAPREDUCE（分布式运算编程框架）：解决海量数据计算

YARN（作业调度和集群资源管理的框架）：解决资源任务调度

广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

当下的Hadoop已经成长为一个庞大的体系，随着生态系统的成长，新出现的项目越来越多，其中不乏一些非Apache主管的项目，这些项目对HADOOP是很好的补充或者更高层的抽象。比如：

框架

用途

HDFS

 分布式文件系统

MapReduce

分布式运算程序开发框架

ZooKeeper

分布式协调服务基础组件

HIVE

基于HADOOP的分布式数据仓库，提供基于SQL的查询数据操作

FLUME

日志数据采集框架

oozie

工作流调度框架

Sqoop

数据导入导出工具（比如用于mysql和HDFS之间）

Impala

基于hive的实时sql查询分析

Mahout

基于mapreduce/spark/flink等分布式运算框架的机器学习算法库