Hadoop 大数据学习笔记1

大数据部门组织架构
Hadoop
- Hadoop是什么
- Hadoop的优势
- Hadoop的组成
- - HDFS架构
  - YARN架构
  - MapReduce
- 大数据技术生态体系![在这里插入图片描述](https://img-blog.csdnimg.cn/20191209135301229.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1eWlhcg==,size_16,color_FFFFFF,t_70)

大数据部门组织架构

Hadoop

Hadoop是什么

Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。
主要解决，海量数据的存储和海量数据的分析计算问题。
广义上来说，Hadoop通常是指一个广泛的概念———Hadoop生态圈。

Hadoop的优势

1）高可靠性。
2）高扩展性。
3）高效性。
4）高容错性。

Hadoop的组成

MapReduce(计算)
Yarn(资源调度)
HDFS(数据存储)

HDFS架构

1）NameNode(nn)：存储文件的元数据，数据索引。
2）DataNode(dn)：数据本身。
3）Secondary NameNode(2nn)：用于监控HDFS状态的辅助后台程序，获取HDFS元数据的快照。

YARN架构

MapReduce

1）Map阶段并行处理输入数据。
2）Reduce阶段对Map结果进行汇总。

大数据技术生态体系

Hadoop 大数据学习笔记相关推荐

大数据学习笔记：Hadoop生态系统
文章目录一.Hadoop是什么二.Hadoop生态系统图三.Hadoop生态圈常用组件 (一)Hadoop (二)HDFS (三)MapReduce (四)Hive (五)Hbase (六)Zo ...
大数据学习笔记第1课 Hadoop基础理论与集群搭建
大数据学习笔记第1课 Hadoop基础理论与集群搭建一.环境准备二.下载JDK 三.安装JDK 四.下载hadoop 五.安装hadoop集群六.打通3台服务器的免密登录七.hadoop集群配 ...
大数据学习笔记（一）
大数据学习笔记(一)大数据概论大数据是什么 1大数据概念:(big data ) : 指无法在一定时间内用常规软件工具进行捕捉.管理和处理数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和 ...
【学习笔记】尚硅谷Hadoop大数据教程笔记
本文是尚硅谷Hadoop教程的学习笔记,由于个人的需要,只致力于搞清楚Hadoop是什么,它可以解决什么问题,以及它的原理是什么.至于具体怎么安装.使用和编写代码不在我考虑的范围内. 一.Hadoop ...
大数据学习笔记二：Ubuntu/Debian 下安装大数据框架Hadoop
文章目录安装Java 为Hadoop创建用户安装Hadoop 配置Hadoop 配置环境变量设置配置文件格式化namenode 启动hadoop集群访问hadoop集群大数据学习系列文章: ...
大数据学习笔记一：大数据的发展历程--MapReduce，Hive，Yarn，Hadoop，Spark，Flink
大数据学习系列文章:大数据-博客专栏今天在学习极客时间专栏:<从0开始学大数据> 从预习 01 | 大数据技术发展史:大数据的前世今生到预习 03 | 大数据应用领域:数据驱动一切,系统 ...
此文献给正打算入门大数据的朋友：大数据学习笔记1000条（2）
501.MapReduce计算框架中的输入和输出的基本数据结构是键-值对. 502.Hadoop神奇的一部分在于sort和shuffle过程. 503.Hive驱动计算的"语言"是 ...
大数据学习笔记-hadoop（1）
目录前言一.什么是大数据? 二.Ubuntu基础配置 1.安装Ubuntu20.04 2.修改系统语言为中文 3.修复vi编辑器 4.使用root账户 5.网络配置 6.配置源 7.更新三.ss ...
大数据学习笔记之Hadoop（一）：Hadoop入门
文章目录大数据概论一.大数据概念二.大数据的特点三.大数据能干啥? 四.大数据发展前景五.企业数据部的业务流程分析六.企业数据部的一般组织结构 Hadoop(入门) 一从Hadoop框架 ...

Hadoop 大数据学习笔记