什么是分布式数据存储
传统的集中式存储对搭建和管理的要求较高。由于硬件设备的集中存放，机房的空间、散热和承重等都有严格的要求; 存储设备要求性能较好，对主干网络的带宽也有较高的要求。
而在信息爆炸的时代，人们可以获取的数据呈指数倍的增长，单纯在固定某个地点进行硬盘的扩充在容量大小、扩充速度、读写速度和数据备份等方面上的表现都无法达到要求； 而且大数据处理系统的数据多是来自于客户，数据的种类多，存储系统需要存储各种半结构化、非结构化的数据，如文档、图片、视频等，因此大数据的存储宜使用分布式文件系统来管理这些非结构化数据。
分布式数据存储，即存储设备分布在不同的地理位置，数据就近存储，带宽上没有太大压力。可采用多套低端的小容量的存储设备分布部署，设备价格和维护成本较低。小容量设备分布部署，对机房环境要求也较低。分布式数据存储将数据分散在多个存储节点上，各个节点通过网络相连，对这些节点的资源进行统一的管理。这种设计对用户是透明的，系统为用户提供文件系统的访问接口，使之与传统的本地文件系统操作方式类似。这样的设计解决了传统的本地文件系统在文件大小、文件数量等方面的限制。
传统的分布式计算系统中通常计算节点与存储节点是分开的。当执行计算任务时，首先要把数据从数据节点传输至计算节点( 数据向计算迁移) ，这种处理方式会使外存文件数据 I/O 访问成为一个制约系统性能的瓶颈。为了减少大数据并行计算系统中的数据通信开销，应当考虑将计算向数据靠拢和迁移。如MapReduce模型采用了数据/代码互定位的技术方法，该方法让计算节点首先尽量负责计算其本地存储的数据，以发挥数据本地化特点; 仅当节点无法处理本地数据时，再采用就近原则寻找其他可用计算节点，并把数据传送到该可用计算节点。
从各厂商的解决方案来看，面对目前互联网应用PB级的海量存储的存储需求，频繁的数据传输，都是通过应用分布式存储系统，实现在普通PC机上部署节点，通过系统架构设计提供强大的容错能力，针对大型的、分布式的、大量数据访问的应用给用户提供总体性能最高的服务。
ETHINK数据智能分析平台提供本文 http://www.ethinkbi.com
什么是分布式数据存储相关推荐
- 10分钟搞懂：亿级用户的分布式数据存储解决方案
分布式数据库和分布式存储是分布式系统中难度最大.挑战最大,也是最容易出问题的地方.互联网公司只有解决分布式数据存储的问题,才能支撑更多次亿级用户的涌入. 接下来,你将花费十分钟掌握以下三方面内容: 1 ...
- 10分钟搞懂：亿级用户的分布式数据存储解决方案！
内容提供:李智慧,前阿里巴巴技术专家,<大型网站技术架构>作者6月6日晚,林志玲与Akira公布婚讯.徐蔡坤祝福高考同学超常发挥,粉丝们百万的转发和点赞造成微博短暂宕机.分布式数据库和分布 ...
- 亿级用户的分布式数据存储解决方案，MySQL进阶！
分布式数据库,分布式存储 1.MySQL复制 1.1主从复制 1.2主主复制 2.数据分片 2.1数据分片的介绍 2.2分片的方案 2.3分片数据库的扩容 3.数据库分布式部署的几种方案 3.1 单一 ...
- 区块链之分布式数据存储
区块链之分布式数据存储 30年前,有一个未来学家提出未来世界的趋势是分布式将代替去中心化:一个机器蜘蛛的六条腿配置分布式的计算引擎,去掉中心化的大脑,结果是这个机器蜘蛛的六条腿之间能够协调自如. 现在 ...
- 微服务架构下的分布式数据存储-技术之家
微服务架构下的分布式数据存储-技术之家 http://www.cnn6.net/html/net/2017516/201809.html
- 分布式数据存储原理简介
什么是分布式数据存储系统 分布式存储系统的核心逻辑,就是将用户需要存储的数据根据某种规则存储到不同的机器上,当用户想要获取指定数据时,再按照规则到存储数据的机器里获取. 如下图所示,当用户(即应用程序 ...
- 讲给普通人听的分布式数据存储
关系型数据库到底有什么问题? 正如你们中的很多人可能已经知道的,关系型数据库(RDB)技术自从1970年代就已经存在,直到1990年代末一直是结构化存储的事实标准.RDB几十年来很出色地支持了高度一致 ...
- 盘古开源：分布式数据存储，实现更多人参与的下一代互联网新基建
新基建,无疑是中国发展接下来很长一段时间内的大热门.2021年3月12日发布的<中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要>中明确提出,围绕强化数字转型.智能 ...
- 分布式数据存储的典型结构
目前比较主流的分布式文件系统结构是主 /从( master/slave) 体系结构,如下图所示,通常包括主控节点 ( 或称元数据服务器,通常会配置一个活动节点和一个备用节点以实现高可用性) .多个数据 ...
最新文章
- 【发现】Pandora's Box Puzzle Game of the Year Edition 原版镜像
- 架构设计的真谛：系统与子系统、模块与组件、框架与架构
- 【Android】最近做的一个Android平台下时间统计工具
- Linux内核之数据双链表
- boost使用log库编译报错
- ROS Image_transport使用
- Zookeeper全解析——Client端(转)
- plc控制伺服电机 四轴攻丝机案例 该程序为plc控制伺服电机的工程案例程序，包含伺服电机接线图，包含程序流程的详细解释说明
- wpf自己画表盘_练手WPF（一）——模拟时钟与数字时钟的制作（上）
- vscode怎么运行代码HTML 怎么在vscode编写HTML代码
- 大数据行业前景如何？有什么岗位？什么要求？一次讲清楚
- 小米2020校招笔试题及答案
- c#等比例缩放、压缩gif、动图文件
- 十年磨一剑－企业核心竞争力的重塑
- HDU6194 后缀数组
- map和multimap的用法详解
- RT-Thread源码下载介绍
- PQ(product quantization) 算法
- list和tuple的区别
- python bar函数