Hadoop系列之什么是Hadoop(1)

2024-04-29 03:48:16

什么是Hadoop

Hadoop 是使用 Java 编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache 的开源框架。 Hadoop 框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop 是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。

Hadoop 可以用单节点模式安装，但是只有多节点集群才能发挥 Hadoop 的优势，我们可以把集群扩展到上千个节点，而且扩展过程中不需要先停掉集群。

Hadoop 由三个关键部分组成：
HDFS：Hadoop 分布式文件系统，它是 Hadoop 数据存储层。
MapReduce：数据计算框架
YARN：负责资源管理和任务调度。

Hadoop 架构

在了解了什么是 Hadoop 之后，再来详细了解一下 Hadoop 的架构。

Hadoop 以主从的方式工作。一个 Master 节点和多个 Slave 节点，slave 节点可以扩招到1000个。Master 节点管理，维护和监控 slave 节点， slave 节点是真正在干活的机器。Master 节点应该部署在配置较高的机器上面，因为它是 hadoop 集群的核心。Maste r存储元数据（即数据的数据），slave 是真正存储数据的机器。客户端通过master 节点来分发任

Hadoop系列之什么是Hadoop(1)相关推荐

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解
1.Hadoop依赖软件 Hadoop基于Java语言开发,因此其运行严重依赖于JDK(Java Development Kit),并且Hadoop的许多功能依赖于Java 6及以后的版本才提供的特性 ...
Hadoop 系列之 Hive
Hadoop 系列之 Hive Hive 的官网:http://hive.apache.org/ Hive versions 1.2 onward require Java 1.7 or newer. ...
Hadoop 系列之 HDFS
Hadoop 系列之 HDFS 花絮上一篇文章 Hadoop 系列之 1.0和2.0架构中,提到了 Google 的三驾马车,关于分布式存储,计算以及列式存储的论文,分别对应开源的 HDFS,Ma ...
Hadoop 系列之 1.0 和2.0 架构
Hadoop 系列之 1.0 和2.0 架构自学大数据有一段时间了,找工作历时一周,找到一家大厂,下周入职,薪资待遇还不错,公司的业务背景自己也很喜欢.趁着还没有入职,给大家争取先把 Hadoop ...
Hadoop 基础系列一Hadoop 系列之 1.0 和2.0 架构
精选30+云产品,助力企业轻松上云!>>> Hadoop 系列之 1.0 和2.0 架构自学大数据有一段时间了,找工作历时一周,找到一家大厂,下周入职,薪资待遇还不错,公司的业务背 ...
hadoop系列三:mapreduce的使用(一)
一:说明此为大数据系列的一些博文,有空的话会陆续更新,包含大数据的一些内容,如hadoop,spark,storm,机器学习等. 当前使用的hadoop版本为2.6.4 上一篇:hadoop系列二: ...
hadoop系列四:mapreduce的使用(二)
转载请在页首明显处注明作者与出处一:说明此为大数据系列的一些博文,有空的话会陆续更新,包含大数据的一些内容,如hadoop,spark,storm,机器学习等. 当前使用的hadoop版本为2.6 ...
Hadoop系列之-7、Hadoop3.x的介绍
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 大数据系列文章目录目录介绍 Hadoop 3.0新特性介绍由于Hadoop 2.0是基 ...
小丸子学Hadoop系列之——部署Hbase集群
0.集群规划主机名 ip地址安装的软件运行的进程 AI-OPT-HBS01 10.46.52.30 hadoop,hbase namenode,zkfc,resourcemanager AI-O ...
hadoop系列（一）概念、组件介绍、安装环境、配置
hadoop系列(一)概念.组件介绍.安装环境.配置一.大数据概念概念大数据:解决海量数据的采集.存储.分析计算的能力大数据特点 Volume(大量) Velocity(高速) Variety ...

最新文章

热门文章