Hadoop架构与原理：Hadoop系统架构原理解析
作为现今主流被运用的大数据系统框架，Hadoop架构是大数据技术学习阶段必要掌握的重点之一。而学习Hadoop技术，我们需要对Hadoop架构与原理有一个基本的认识，了解清楚这些原理，才能在大数据开发工作当中实现更灵活的运用。
Hadoop架构当中，需要理解的关键性原理，就是分布式技术。分布式技术，解决了大数据处理当中很大的一个难题，那就是在低廉的硬件系统上，实现对于海量数据的高效准确的处理。
分布式技术，其实简单来说，就是在几台甚至是几十台的普通计算机上搭建起计算机集群，对于海量的数据任务，将整个任务切割分块，分配到计算机集群当中的各台电脑上去处理，所有的小块数据处理任务完成之后，再将所有的处理结果综合起来，实现对海量数据的处理。
Hadoop架构当中，最核心关键的模块，是HDFS和MapReduce，前者是分布式文件系统，负责海量数据的存储任务，后者是分布式计算框架，负责海量数据的计算分析，这两者结合起来，基本上能够解决90%的企业大数据处理需求。
具体来说，HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode和多个DataNode。
NameNode会保存文件系统的具体信息，包括文件信息、文件被分割成具体block块的信息、以及每一个block块归属的DataNode的信息。DataNode负责管理节点上它们拥有的存储，它将存储划分为多个block块，管理block块信息，同时周期性的将其所有的block块信息发送给NameNode。
MapReduce，其实是map+reduce两个阶段，Map就是将一个任务分解成多个任务，Reduce就是将分解后多任务分别处理，并将结果汇总为最终结果。在Map之前，可能还有对输入数据的Split过程以保证任务并行效率，在Map之后可能还有Shuffle过程来提高Reduce的效率以及减小数据传输的压力。
关于Hadoop架构与原理，相信大家看完以上的内容就能够有一个基础的了解和认识了。在Hadoop平台技术的学习当中，掌握Hadoop架构与原理，对于后续的Hadoop生态系统当中的各组件的学习也能起到很好的帮助作用。
Hadoop架构与原理：Hadoop系统架构原理解析相关推荐
- linux如何查看系统架构？（查看系统架构命令）（armv7l）
文章目录 命令 1. uname 命令 2. dpkg 命令 3. getconf 命令 4. arch 命令 5. file 命令 瑞芯微摄像头arm-linux(很多命令都没有...) 命令 以下 ...
- .NET 云原生架构师训练营（系统架构）--学习笔记
▲ 点击上方"DotNet NB"关注公众号 回复"1"获取开发者路线图 学习分享 丨作者 / 郑 子 铭 这是DotNet NB 公众号的第176篇原创文章 ...
- 架构师学习笔记（四）架构师线路之系统架构师企业架构师
架构师线路之系统架构师&企业架构师 系统架构设计师 知识结构 具备的能力 职业定位 工作职责 系统架构设计师 系统架构师是一个最终确认和评估系统需求,给出开发规范,搭建系统实现的核心构架,并澄 ...
- 系统架构系列(一)：系统架构概念、分类和特性
一.推导系统架构的公式 1.1 系统架构概念拆分 在学习一门技术的时候,一定要知道是什么.为什么.怎么做.系统架构这个概念本身就非常大,而且有各种各样的定义,初学者会遇到这样的困境:到底什么是系统架构 ...
- HBase详细介绍：起源、实现原理、系统架构
1.Hbase起源 HBase是一个开源的非关系型分布式数据库,它参考了谷歌的BigTable建模,实现的编程语言为Java.它是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系 ...
- 软考笔记（八）高级系统架构师/分析师：系统架构
目录 软考官网 报名通道 软考架构师笔记(一):计算机系统基础 软考架构师笔记(二):计算机网络基础与信息安全 软考架构师笔记(三):操作系统基础 软考架构师笔记(四):企业信息化与系统规划 软考架构 ...
- python 系统架构_Python之优化系统架构的方案
方案3: 改变系统架构 在开始多进程之前,先简单说明一下python GIL, 之前自己对他也有些误解.因为python GIL的机制存在,同时运行的线程只有一个,但这个线程在不同时刻可以运行在不同的 ...
- 新零售SaaS架构：多租户系统架构设计
什么是多租户? 多租户是SaaS领域的特有产物,在SaaS服务中,租户是指使用SaaS系统的客户,租户不同于用户,例如,B端SaaS产品,用户可能是某个组织下的员工,但整个企业组织是SaaS系统的租户 ...
- 怎么区别业务架构、软件架构、系统架构、解决方案架构、企业架构？
在网上也看了很多关于架构方面的文章,林林总总,总感觉没有说的太清楚,可能是每个人的理解不一样,我自己也在繁杂的文章中总结一些架构方面的划分,记录一下. 解决方案架构:解决方案架构,顾名思义,解决方案就 ...
- mysql单表多租户架构_多租户系统架构
多租户系统架构 一种多租户系统架构 背景: 去年的时候,因为某些特殊原因,有幸带了一个组,参与了B2B平台的开发.说是B2B平台,因为这套程序开发完了后,可以拿给多个客户使用.客户可以搭建一套具有京东 ...
最新文章
- 为什么对高斯分布的方差的极大似然估计是有偏的？
- puppet最新源码包安装学习笔记
- MySQL之单表查询、多表查询（二）
- JS(本身是)单线程和UI线程同步(互斥)
- codeforces:1361(div1)1362(div2):总结
- C++ STL容器值set
- 软件工程之项目管理核心框架
- 谷歌新竞赛：在欧美长大的AI，也要认识亚非拉的生活丨可参加NIPS
- java获取指定属性名_获取指定属性名的属性值简易方法
- 根据call/jmp操作数偏移检测内核是否被rootkit控制
- 解决h5兼容ios手机浏览器下载本地文件直接打开问题。
- Codeforces - King Kog‘s Reception
- 人民币换算美元java计算_美元和人民币换算(人民币转换美元计算)
- 小院-《隐私与协议声明》
- js实现oss批量下载文件_jquery批量下载文件
- Java笔记-面向对象（上）
- Vue报错：Error in v-on handler: “ReferenceError: regeneratorRuntime is not defined“
- 杂牌机搞机之旅最终章————刷入Xposed框架
- 苹果电脑系统还原出现服务器,苹果电脑恢复出厂设置【解答方法】
- 字节跳动二号人物——山西人张利东