放不下的原理_通俗易懂，几张图看懂大数据存储和计算原理

大数据的核心主要解决两个问题：

数据的存储

数据的计算

(一) 数据存储

分布式存储: 相对于本地文件系统，分布式文件系统是一种通过网络实现文件在多台主机上进行存储的文件系统。成千上万的计算机节点构成计算机集群。

一般采用客户/服务器的模式实现。

1.1 分布式存储

硬盘不够大，文件在一台计算机里放不下，就需要拆分放到不同计算机节点里面。

如上图：一个6G的文件要存储，但每个硬盘只有2G的空间，一个硬盘放不下，需要把文件拆分，每个节点存放部分文件。

1.2 数据安全

如果机集群节点有的坏了，或者硬盘物理损坏，如何保证数据完整性，如何保证数据安全。

数据冗余：同一份数据同时保存到多个节点上。如下图：

1、不是一个客户端同时上传3份文件到不同的计算机。是只上传到一台服务器中，然后有分布式文件系统决定复制的分数，并做水平复制。

2、客户端往服务单上传数据，是按数据快传输，会把文件拆分较小的数据块传输。优点：如果中间传输异常，可以续传，不用从头开始。

(二)分布式计算

分布式计算核心: 任务拆分。把大任务拆分成一个个的小任务，让小任务可以在一台普通的计算机上就可以执行。执行完后在对结果汇总。

拆分步骤：

大任务拆分小任务

多个小任务同时执行 (分布式计算)

计算结果汇总

比如计算 10 + 20 + ....+ 90 = ？分布式计算拆分过程：

拆分出的小任务在不同的计算机/节点上执行，分布式计算。效率非常高。

(三 )技术标签

Hadoop： Apache软件基金会下一个开源分布式计算平台：

HDFS ：Hadoop 的分布式文件管理系统HDFS ( Hadoop Distributed File System ) 。是对谷歌的GFS系统的开源实现。管理大数据分布式存储问题

MapReduce ：针对谷歌的MapReduce的开源实现，解决大数据分布式计算的问题。

放不下的原理_通俗易懂，几张图看懂大数据存储和计算原理相关推荐

mysql 列式存储_[转]几张图看懂列式存储
最近看到一篇很好资料,里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了,牛啊!最喜欢的就是这种浅显易懂就把背景知识讲得明明白白,而不是长篇大论的讲概念. 1 为什 ...
oracle层级关系按列存储_几张图看懂列式存储
最近看到一篇很好资料,里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了,牛啊!最喜欢的就是这种浅显易懂就把背景知识讲得明明白白,而不是长篇大论的讲概念. 1 为什 ...
40张图看懂分布式追踪系统原理及实践
前言在微服务架构中,一次请求往往涉及到多个模块,多个中间件,多台机器的相互协作才能完成.这一系列调用请求中,有些是串行的,有些是并行的,那么如何确定这个请求背后调用了哪些应用,哪些模块,哪些节点及调 ...
传递给系统调用的数据区域太小怎么解决_40张图看懂分布式追踪系统原理及实践...
作者:码海原文链接:https://mp.weixin.qq.com/s/U-8ttlVCfYtjEPOWKBHONA 前言在微服务架构中,一次请求往往涉及到多个模块,多个中间件,多台机器的相互 ...
厉害！40 张图看懂分布式追踪系统原理及实践
作者 | 码海来源 | 码海在微服务架构中,一次请求往往涉及到多个模块,多个中间件,多台机器的相互协作才能完成. 这一系列调用请求中,有些是串行的,有些是并行的,那么如何确定这个请求背后调用了哪些 ...
python一张图学懂_【python系统学习07】一张图看懂字典并学会操作
一张图get字典一张图get字典的些许知识点如果图中知识点描述过于概括,请看下列细文: 字典是什么 js的对象说到字典,前端同学可以理解其为:对象.因为python中的字典和js中的对象长的不能 ...
Nginx源码分析：3张图看懂启动及进程工作原理
图一:nginx 启动及内存申请过程分析任何程序都离不开启动和配置解析.ngx 的代码离不开 ngx_cycle_s 和 ngx_pool_s 这两个核心数据结构,所以我们在启动之前先来分析下. 内 ...
图片变色_一张图看懂手机CMF史，附带手机渐变色工艺解析
自智能手机面世以来,功能的开发似乎已经到了极致,更多的革命开始转移到外观上,其中,颜色作为美观第一要素,从vivo X20的梦幻粉.OPPO R15的星云色,到华为P20的极光色,再到OPPO Fin ...
一张图看懂android事件分发原理
废话不多说,直接上图图解:android中事件分发的起始点是Activity,有Activity里的Detorview通过DispatchTouchEvent开始分发,如图假设一个DOWN,MOVE ...
sql left join用法_一张图看懂 SQL 的各种 join 用法！
作者:C.L. Moffatt www.codeproject.com/Articles/33052 下图展示了 LEFT JOIN.RIGHT JOIN.INNER JOIN.OUTER JOIN ...

放不下的原理_通俗易懂，几张图看懂大数据存储和计算原理

放不下的原理_通俗易懂，几张图看懂大数据存储和计算原理相关推荐

最新文章

热门文章