分布式存储系统（一）

分布式存储系统是大量普通PC服务器通过Internet互联，对外作为一个整体提供存储服务。

最近在研读《大规模分布式存储系统》一书，顺便摘录整理，深入了解原理和架构，方便学习，欢迎交流。

一、概念

分布式存储系统具备如下几个特性：

1、可扩展

分布式系统可以扩展到几百台到几千台的集群规模，而且，随着集群规模的增长，系统整体性能表现为线性增长。

2、低成本

分布式存储系统的自动容错、自动负载均衡机制使其可以构建在普通PC机之上。另外，线性扩展能力也使得增加、减少机器非常方便，可以使用较低的成本实现自动运维。

3、高性能

无论是整个集群还是单机服务，都要求分布式系统具备高性能。

4、易用

分布式存储系统需要提供医用的对外接口，另外也要求具备完善的监控、运维工具，并能够方便地与其它系统集成。如 Hadoop云计算系统导入数据。

分布式存储系统的挑战主要在于数据、状态信息的持久化，要求在自动迁移、自动容错、并发读写的过程中保证数据的一致性。

所涉及的技术主要为：1、分布式系统；2、数据库；

二、分类

由于分布式存储系统所面临的数据需求相对复杂，大致可以将其分为三类：

1、非结构化数据。如办公文档、图片、音视频等；

2、结构化数据。一般存储在关系型数据库中，可以用二维关系表结构表示；

3、半结构化数据。介于非结构化和结构化数据之间，如HTML，一般是自描述的；

按照处理不同类型的数据，可分为：

1、分布式文件系统

在互联网应用当中需要存储大量的图片、照片、视频等非结构化数据对象，这类数据以对象的形式组织，对象之间没有关联，通常称之为Blob（Binary Large Object）数据。典型的系统有Facebook Haystack、TFS等。在分布式文件系统内部按照数据块（chunk）来组织数据，每个数据块的大小大致相同，每个数据块可以包含多个Blob对象或者定长块，一个大文件也可以拆分为多个数据块，这是其底层的实现原理。

2、分布式键值系统

分布式键值系统用于存储关系简单的半结构化数据。只提供主键的CRUD功能，典型的系统有Amazon Dynarno。从数据结构的角度看，分布式键值系统和传统的Hash表类似，不同的是，分布式键值系统支持将数据分布到集群中的多个存储节点。一般用作缓存，如大家熟知的Memcache。

3、分布式表格系统

分布式表格系统用于存储关系较为复杂的半结构化数据，除了具有CRUD的功能外，还支持扫描某个主键范围。并且借鉴了很多关系数据库的技术，例如支持某种程度上的事务。典型的系统包括Google Bigtable、Mega store等。但不支持较为复杂的操作，如多表关联、多表联接、嵌套子查询等。

4、分布式数据库

分布式数据库一般由单机关系数据库扩展而来，用于存储结构化数据，提供SQL关系查询语言，支持多表关联，嵌套查询，并发控制和数据库事务等复杂操作。典型的系统包含Mysql Sharding 、Amazon RDS、OceanBase。

-------------------------------------------

有任何建议或问题，欢迎加微信一起学习交流，欢迎从事IT，热爱IT，喜欢深挖源代码的行业大牛加入，一起探讨。

个人微信号：bboyHan

热衷：Golang、Java、Python、区块链、架构设计、数据分析等。

分布式存储系统（一） - 概念相关推荐

万万没想到，分布式存储系统的一致性是......
阿里妹导读:分布式存储系统是一个非常古老的话题,也是分布式系统里最难.最复杂.涉及面最广的问题之一.本文深入浅出,为大家详细解释相关的重要概念.对于分布式系统新人来说,这是一份不可多得的学习资料. 分 ...
这些常见的分布式存储系统，你是否都了解？
来源 | 清平の乐来源 | CSDN博客,责编 | Carol 头图 | CSDN 下载自视觉中国一.数据存储类型一般情况下,我们将存储分成了4种类型,基于本机的DAS和网络的NAS存储.SAN ...
性能 1.84 倍于 Ceph！网易数帆开源分布式存储系统 Curve
作者 | 陈利鑫头图 | CSDN 下载自东方 IC 出品 | CSDN(ID:CSDNnews) 也许是厂家+"云"的后缀会让人产生这些厂商都是竞争关系的错觉,网易云最近宣布品 ...
开源分布式存储系统的对比
我们在选型开源分布式存储系统框架之前需要对不同的框架进行调研. 所有的开源存储系统介绍链接存储系统对比目前比较热门的分布式文件系统有如下几种: Ceph,GlusterFS,Sheepdog,Lu ...
分布式存储系统——HBase
一.什么是Hbase? HBase-Hadoop Database,是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群.当 ...
分布式存储系统-Ceph简单分析
1 Ceph分布式存储系统分析 Ceph是一个统一的分布式存储系统,可同时提供块.文件和对象3种接口的存储服务.与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线 ...
分布式存储系统 Ceph 介绍与环境部署
文章目录一.概述二.Ceph 架构三.Ceph核心组件介绍四.Ceph 三种存储类型 1)块存储服务(RBD) 2)文件系统存储服务(CephFS) 3)对象存储服务(RGW) 五.Ceph版 ...
构建屏幕经济，比利时Thomas托马斯分布式存储系统开启新经济的无限可能！
从最早的电视购物,到后来PC时代的网络购物,再到当下最火热的移动端网红带货,无一不体现了技术的发展和时代的变迁.但万变不离其宗,所有的发展,都在围绕着那些大大小小的屏幕. 如今,随着5G网络的发展和崛 ...
计算机存储系统的特点,分布式存储系统的特点和意义
严格来说,同一分布式系统中的计算机可以在空间部署中任意分布. 这些计算机可以放置在不同的机柜中,也可以放置在不同的计算机室中,甚至可以分布在不同的城市中. 无论如何,标准的分布式系统将具有以下特征,而 ...

分布式存储系统（一） - 概念

一、概念

二、分类

分布式存储系统（一） - 概念相关推荐

最新文章

热门文章