大数据Hadoop原理学习（HDFS,MAPREDUCE,YARN）
hadoop
hadoop中有3个核心组件：
分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上
分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算
分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源
hdfs整体运行机制
hdfs：分布式文件系统
hdfs有着文件系统共同的特征：
- 有目录结构，顶层目录是： /
- 系统中存放的就是文件
- 系统可以提供对文件的：创建、删除、修改、查看、移动等功能
hdfs跟普通的单机文件系统有区别：
- 单机文件系统中存放的文件，是在一台机器的操作系统中
- hdfs的文件系统会横跨N多的机器
- 单机文件系统中存放的文件，是在一台机器的磁盘上
- hdfs文件系统中存放的文件，是落在n多机器的本地单机文件系统中（hdfs是一个基于linux本地文件系统之上的文件系统）
hdfs的工作机制：
- 客户把一个文件存入hdfs，其实hdfs会把这个文件切块后，分散存储在N台linux机器系统中（负责存储文件块的角色：data node）<准确来说：切块的行为是由客户端决定的>
- 一旦文件被切块存储，那么，hdfs中就必须有一个机制，来记录用户的每一个文件的切块信息，及每一块的具体存储机器（负责记录块信息的角色是：name node）
3、为了保证数据的安全性，hdfs可以将每一个文件块在集群中存放多个副本（到底存几个副本，是由当时存入该文件的客户端指定的）
综述：一个hdfs系统，由一台运行了namenode的服务器，和N台运行了datanode的服务器组成！
大数据Hadoop原理学习（HDFS,MAPREDUCE,YARN）相关推荐
- Thinking in BigData（八）大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
纯干货:Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解. 通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS.MapReduce.Hbase.H ...
- 大数据Hadoop教程-学习笔记02【Apache Hadoop、HDFS】
视频教程:哔哩哔哩网站:黑马大数据Hadoop入门视频教程 教程资源:https://pan.baidu.com/s/1WYgyI3KgbzKzFD639lA-_g 提取码: 6666 [P001-P ...
- 大数据Hadoop教程-学习笔记01【大数据导论与Linux基础】
视频教程:哔哩哔哩网站:黑马大数据Hadoop入门视频教程,总时长:14:22:04 教程资源:https://pan.baidu.com/s/1WYgyI3KgbzKzFD639lA-_g,提取码: ...
- 大数据-Hadoop文件系统- 学习笔记 -BH2
Hadoop文件系统(HDFS) HDFS的概念和特性 首先,它是一个文件系统,用于存储文件,通过统一的命名空间--目录树来定位文件 其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器 ...
- 大数据Hadoop系列之HDFS命令讲解
1. 前言 HDFS命令基本格式:hadoop fs -cmd < args > 2. ls 命令 hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop ...
- Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
编者按:HDFS和MapReduce是Hadoop的两大核心,除此之外Hbase.Hive这两个核心工具也随着Hadoop发展变得越来越重要.本文作者张震的博文<Thinking in BigD ...
- 大数据Hadoop之——总结篇
文章目录 一.前言 二.Hadoop 1)HDFS常见操作 1.HDFS服务启停命令 2.常见文件操作命令 3.安全模式操作命令 4.数据平衡常见操作命令 5.处理小文件常见操作命令 6.HDFS N ...
- 大数据Hadoop之——数据分析引擎Apache Pig
文章目录 一.Apache Pig概述 二.Apache Pig架构 1)架构图 2)Apache Pig组件 1.Parser(解析器) 2.Optimizer(优化器) 3.Compiler(编译 ...
- 大数据技术原理与应用 第三版 林子雨 期末复习（二） Hadoop HDFS HBase
大数据技术原理与应用 第三版 林子雨 期末复习(二) Hadoop HDFS HBase Hadoop生态系统 HDFS HDFS结构 块 Name Node与Second Name Node与Dat ...
最新文章
- c++ 初始化 代码 应放在那里_Go语言goroutine调度器初始化 (12)
- Android开机画面~（自己还没试验）
- Android构建流程——篇七
- Wannafly挑战赛17 - 求值2 (逆元 + 杨辉三角公式)
- WinCE 自由拼音输入法的测试
- 3_7 MementoMode 备忘录模式
- Process Explorer 15.2：微软增强型任务管理器
- NSString 转为gbk
- xp系统整个计算机非常慢,xp系统电脑运行慢太卡了怎么办|xp系统运行卡顿的解决方法...
- 如何vista中使用netmeeting
- Opengl ES系列学习--点亮世界
- 《灵飞经5·龙生九子》 第二十二章 河咸海淡（上）
- 线性代数学习笔记——第三十三讲——向量混合积的几何意义
- Doclist压缩方法简介
- AutoCAD2019开发配置
- 一个毕业三年的程序猿对于提升自我的一些建议
- 梦想照进现实｜CSDN 实体奖牌 第二期
- 安装使用完虚拟机UltraISO后，删除电脑中多出的“CD驱动器”盘符
- Cookie跨域setDomain
- 硕士生论文存在的问题