分布式存储是近年比较火的存储技术话题。

但什么是分布式存储呢?

作为ITer,你了解吗?

如果不知道分布式存储,肿么办?

没关系,带上小板凳,来听我跟你好好聊聊。

▉ 存储进阶史

要深入理解分布式存储,我们需要先了解下存储技术的发展史。

在1945年,冯·诺依曼提出了存储程序逻辑架构,现有的计算机都遵循"冯·诺依曼体系架构",具体如下图:

冯·诺依曼体系架构

通常把运算器和控制器合并为中央处理器(CPU),内部小容量的存储提供快速访问,外部存储器提供大量的存储空间。

在不同的计算机时代,我们可以依照冯诺依曼体系结构来划分存储。

在单机计算时代(大型机、小型机、微机),内部存储器可以理解为内存(即Memory),外部存储可以理解为物理硬盘(包括本地硬盘和通过网络映射的逻辑卷)。

外挂存储根据连接的不同方式有可以分为:直连式存储(Direct-Attached Storage,简称DAS)和网络化存储(Fabric-Attached Storage,简称FAS);

而网络化存储根据传输协议又分为:NAS(Network-Attached Storage)和SAN(Storage Area Network)。

这些概念的很容易混,大家千万别晕,画个图大家看得更明白一些:

▉ DAS、NAS和SAN有何区别?

了解了存储产品分类,接下来我们来看下DAS、NAS和SAN三者有什么区别?

在90年代之前,由于存储需求有限,外部存储基本都是采用的直连方式(DAS)。DAS目前在很多中小企业中依然很常见,PC中的硬盘或只有一个外部SCSI接口的JBOD都属于DAS架构。

DAS一般使用专用线缆(例如SCSI)连接到服务器内部总线上,存储设备只与一台独立的主机连接。

DAS的好处是连接简单、易于配置且安全、可靠,费用低,但扩展能力差且无法共享。

为了解决外部存储共享和扩展的问题,NAS和SAN络存储相继出现。

NAS通常是指为用户提供文件存储服务的共享网络存储,支持NFS、SMB/CIFS等协议。

NAS大大提高了存储的安全性、共享性和成本。但是I/O(输入输出)渐渐成为性能瓶颈,为了解决这个难题,出现了SAN。

SAN是在NAS基础上做的演进。它通过专用光纤通道交换机访问数据,采用ISCSI、FC协议。

如上图,如果说SAN可以理解是一块网络硬盘的话,NAS基本上已经像一台独立的服务器了。

目前很多家庭都开始使用小型NAS设备,相当于一个小型服务器。目前国内比较主流的NAS厂商有群晖、威联通等。

NAS和SAN共享网络存储,极大的提高了存储资源的利用率,统一集中管理模式降低了存储运维成本,提供了丰富的企业级存储解决方案。

但NAS、SAN存储也有自己的缺点,其主要性能受控制器的影响,虽然在扩展能力方面相比DAS有了明显提升,但仍然有限,在PB级以上的需求就无能为力。

同时,设备到了生命周期要进行更换,数据迁移需要耗费大量的时间和精力,于是分布式存储应运而生!

▉ 什么是分布式存储?

接下来就是本篇文章的重点了——分布式存储。

随着互联网行业的发展,人们对存储的需求越来越大,采用集中式的存储成为数据中心系统的瓶颈,不能满足大规模存储应用的需要。

受益于服务器技术的发展和成熟,与标准服务器的分布式存储开始出现,分布式存储开始被广泛的应用起来。

分布式存储就是将数据分散存储到多个存储服务器上,并将这些分散的存储资源构成一个虚拟的存储设备,实际上数据分散的存储在企业的各个角落。分布式存储的好处是提高了系统的可靠性、可用性和存取效率,还易于扩展。

为了便于大家理解,这里打个简单的比方。我们可以将数据比作成货物,存储比作成拉货的卡车货,直连存储就相当于用普通货车拉货。

随着存储需求的逐渐增多,为了提升拉货的效率,我们就得不断的对卡车进行升级,变成更大型的货车,才能满足需求,这种扩展就相当于Scale up(纵向扩展)方式。

Scale up的优势是扩展简单,成本增长较慢,但是扩展能力有限,很难满足大容量存储的需求。

于是随着业务量的持续增长,扩展单机能力已经不能解决当前的问题,需要Scale-out,这也就是分布式存储系统。

分布式存储就像我们的拉货的货车,改用一节一节连接起来的火车拉货,当不能满足存储需求的时候,我们只需要添加一节一节的车厢就能满足需求了。

分布式系统的出现是让企业客户可以用普通的服务器完成单个计算机无法完成的计算、存储任务。让企业用户可以利用更多的普通机器,处理更多的数据需求。

▉ 分布式存储的优势

最后我们来汇总看下分布式存储额优势:

1、易于扩展

得益于合理的分布式架构,分布式存储可预估并且弹性扩展计算、存储容量和性能。

2、高性能

一个具有高性能的分布式存储通常能够高效地管理读缓存和写缓存,并且支持自动的分级存储。

3、支持分级存储

由于通过网络进行松耦合链接,分布式存储允许高速存储和低速存储分开部署,或者任意比例混布。

4、多副本一致性

与传统的存储架构使用RAID模式来保证数据的可靠性不同,分布式存储采用了多副本备份机制,最小化对业务的影响。

5、存储系统标准化

随着分布式存储的发展,存储行业的标准化进程也不断推进,分布式存储优先采用行业标准接口(SMI-S或OpenStackCinder)进行存储接入,用户可以实现跨不同品牌、介质地实现容灾,从侧面降低了存储采购和管理成本。

▉ 最后总结

分布式存储是一个大的概念,其包含的种类繁多,除了传统意义上的分布式文件系统、分布式块存储和分布式对象存储外,还包括分布式数据库和分布式缓存等。

本文局限在分布式文件系统等传统意义上的存储架构,接下来的文章我们将详细的介绍主流的分布式存储技术(HDFS、Swift和Ceph等)。

欢迎继续关注我们接下来的内容--分布式存储的深度揭秘

——END——➤  往期精彩回顾◆ 伪存储专家装X指南◆【最强科普】块存储、文件存储、对象存储三者有何区别?◆这款AMD服务器不简单◆《EMC发家史》编年体◆数据保护要怎么做?“点赞”和“在看”也是一种美德!

san分布式共享文件系统_【最强科普】一文读懂分布式存储相关推荐

  1. san分布式共享文件系统_基于SAN存储共享卷实现openstack高可用的方法与流程

    本发明涉及一种高可用方法,特别是一种基于SAN存储共享卷实现openstack高可用的方法. 背景技术: 云计算是利用虚拟化技术,将数据中心的计算.存储.网络等资源整合起来,形成统一的资源池,再将这些 ...

  2. san分布式共享文件系统_SAN网络存储共享软件全攻略剖析

    在高性能专用存储网络需求的驱使下, SAN 存储区域网络系统大量应用于高性能计算网络 系统. 大型网站系统. 非线性编辑系统等网络系统中, 存储设备与计算机主机系统之间一对 一的关系, 被可供多个系统 ...

  3. 汇总同一时间段的数据_数据集干货:一文读懂Mapsidejoin

    我们知道数据分析的第一步是准备数据,所以在前面的课程里,我们介绍了元数据.今天这篇文章,主要介绍大数据量组合数据集在永洪中的应用实例:Mapsidejoin. 什么是Mapsidejoin?按照字面意 ...

  4. python 最小二乘回归 高斯核_「机器学习」一文读懂线性回归、岭回归和Lasso回归...

    点击上方蓝色字体,关注AI小白入门哟 作者 | 文杰 编辑 | yuquanle 本文介绍线性回归模型,从梯度下降和最小二乘的角度来求解线性回归问题,以概率的方式解释了线性回归为什么采用平方损失,然后 ...

  5. 华维单片机编程科普| 一文读懂稳压二极管

    二级管简介 稳压二极管,又叫齐纳二极管.利用PN结反向击穿状态,其电流可在很大范围内变化而电压基本不变的现象,制成的起稳压作用的二极管. 此二极管是一种直到临界反向击穿电压前都具有很高电阻的半导体器件 ...

  6. 扩容原理_硬核丨一文读懂以太坊扩容方案 ─ Rollup 工作原理

    作者 | Ed felten Arbitrum Rollup是一个链外协议,由链上Ethereum合约管理.一个dapp开发者有一组用Solidity编写的合约,开发者将这些合约编译成Arbitrum ...

  7. python 闭包和装饰器详解_实力讲解,一文读懂Python闭包与装饰器!

    什么是装饰器? 装饰器(Decorator)相对简单,咱们先介绍它:"装饰器的功能是将被装饰的函数当作参数传递给与装饰器对应的函数(名称相同的函数),并返回包装后的被装饰的函数", ...

  8. sa密码修改记录_【数据完整性】一文读懂电子记录与电子签名

    一.电子记录的定义和特征 1.电子记录(Electronic  Record)是指依靠计算机系统进行创建.修改.维护.存档.找回或发送,诸如文字.图表.数据.声音.图像及其他以电子(数字)形式存在的信 ...

  9. 预测评价系统_「机器学习」一文读懂分类算法常用评价指标

    前言 评价指标是针对将相同的数据,输入不同的算法模型,或者输入不同参数的同一种算法模型,而给出这个算法或者参数好坏的定量指标. 在模型评估过程中,往往需要使用多种不同的指标进行评估,在诸多的评价指标中 ...

最新文章

  1. Android 动态广播与静态广播
  2. Active Diretory 全攻略(五)--规划和建立组
  3. Python基础教程:xrange和range的使用区别
  4. C++ new/delete、malloc/free
  5. 计算机科学,我觉得最可靠的排名
  6. ​TA们划重点的时候到了:什么是实例工作流?
  7. 数据库读写分离 - MyBatis
  8. 思杰修复网络产品中的11个漏洞
  9. ARM中R0-R15寄存器的作用
  10. 通过JS改变框架的src
  11. jsweet下载编译
  12. 分子动力学模拟学习2-Gromacs运行分子动力学模拟
  13. tomcat日志配置-----自带log(一)
  14. 项目管理-----整合项目资源
  15. kettle 完成处理后的字母含义,(I)nput, (O)utput, (R)ead, (W)ritten, (U)pdated, (E)rror
  16. Comet OJ 夏季欢乐赛 Gree的心房
  17. 笔记本网卡搜索不到wifi名(SSID)的其中一个解决思路
  18. 【机器视觉学习笔记】-001.环境篇
  19. flex布局属性的伸展、收缩、基准属性
  20. 【硬核】超强八位半开源万用表

热门文章

  1. 当推荐系统遇见知识图谱会发生什么?
  2. 任正非:华为的岗位没有年龄限制;腾讯微博将于9月28日停止运营;微软关闭Visual Studio Online|极客头条
  3. 启智社区亮相2020全球智博会,千万奖金悬赏优秀开发者
  4. GitHub 一周热点速览:前后端最佳实践
  5. 雷军:4G 手机已清仓,全力转 5G;QQ音乐播放中途插语音广告引热议;Wine 5.9 发布 | 极客头条...
  6. 寻找新冠“解药”:在 10^60 化合物分子空间,他们用 AI 挖掘潜在药物
  7. 爱奇艺回应遭做空;百度 App 部分频道停更;React Native 0.62 发布 | 极客头条
  8. 任何性能指标越界或造成 APP 崩溃,优酷通用性能测试一招搞定
  9. 线上四台机器同一时间全部 OOM,到底发生了什么?
  10. 百度起诉今日头条;腾讯云超 8000 名员工获 iPhone 11 Pro 奖励;PHP 7.4.1 发布 | 极客头条...