【存储知识】存储基础知识（存储设备、HBA卡、硬盘接口类型、存储特性指标）

一、常见物理存储设备及相关配件

1.SSD（Solid State Disk）固态硬盘

SSD (Solid State Disk或Solid State Drive) 固态硬盘（又称固态驱动器），利用Flash芯片或DRAM芯片作为数据永久存储的硬盘。常见的固态硬盘有笔记本的固态硬盘、存储卡、U盘等。

SSD由控制单元和存储单元（FLASH芯片、DRAM芯片）组成。

利用DRAM作为存储介质的SSD，称为RAM-Dsk,其内部使用SDRAM内存条来存储数据，所以外部断点后，需要使用电池来维持DRAM中的数据。

现在比较常见的是基于Flash芯片存储的SSD。

Flash芯片使用“一种叫浮动门场效应”晶体管组成，一个晶体管就是一个存储单元，称为“cell”。有两种Cell：对于单级单元（SLC，single leavel cell）闪存设备，一个晶体管可容纳1比特数据；多级单元（MLC，mutiple leavel cell），每个单元存储2比特。成本依次降低，容量依次增大，耐用度也依次降低。

要想清楚的了解固态硬盘的存储原理，就必须认识Flash原理。

Flash数据存储原理

Flash 内部存储单元——金属-氧化层-半导体-场效晶体管，里面有个悬浮门（floating gata）,是实际存储数据单元。

NAND flash示意图：

NAND Flash 数据存储单元层次抽象图：

2.HDD（Hard Disk Drive）硬盘驱动器（机械硬盘）

组成：盘片，磁头，盘片转轴及控制电机，磁头控制器，数据转换器，接口，缓存等几个部分组成。

磁头定位在盘片的指定位置上进行数据的读写操作。信息通过离磁性表面很近的磁头，由电磁流来改变极性方式被电磁流写到磁盘上，信息可以通过相反的方式读取。磁盘上的每个磁道被等分为若干个弧段，这些弧段便是磁盘的扇区，每个扇区可以存放512个字节的信息，向磁盘读取和写入数据时，要以扇区为单位。即读写的最小数据量为512个字节。

需要对硬盘进行分区、格式化、挂载等操作才能使用。

参考链接：【Linux】文件系统与硬盘存储（分区、格式化、挂载、inode、软链接与硬链接）_Jacky_Feng的博客-CSDN博客

3.SSD和HDD特性对比

磁盘类型	SSD	HDD
单位成本	高	低
容量	低	高
IOPS	高	低
延迟	低	高
噪音	无	中
重量	轻	重
工作温度范围	大	中
抗震性	强	弱

4.存储配件

网卡（网络适配器、网络接口卡）

网卡是一块被设计用来允许计算机在计算机网络上进行通讯的计算机硬件（通俗讲网卡就是让计算机连接网络的硬件设备）。网卡和计算机之间的通信是通过计算机主板上的I/O总线以并行传输方式进行。网卡和网络之间的通信通过电缆或双绞线以串行传输方式进行。

每一个网卡都有一个独一无二的MAC地址（又称局域网地址、物理地址），这个MAC地址能够标识该计算机具体的网络节点，它被写在卡上的一块ROM中。理论上，除非网卡被盗，否则一般是不会被顶替，所以局域网采用MAC地址来标识具体用户。

在通信过程中，通过交换机内部的交换表把MAC地址和IP地址一一对应。局域网内一台主机A向另一台主机B发送数据。交换机首先将A发送的数据包接收，然后把数据包中的IP地址按照交换表中的对应关系映射给MAC地址，然后将数据包转发到对应的MAC地址的主机上去。这样，即使B主机的IP被盗，但由于此主机没有对应的MAC地址，因此也不能接收到相应的数据。

HBA卡（Host Bus Adapter，主机总线适配器）

常规定义：HBA卡是连接主机I/O总线和计算机内存系统的I/O适配器。

HBA是一个在服务器和存储装置间提供输入/输出(I/O)处理和物理连接的电路板或集成电路适配器。在服务器内部IO通道是PCI和SBus,存储系统的IO通道是光纤通道或SCSI，HBA作用就是实现内涂通道协议PCI或Sbus和光纤通道或SCSI协议之间的转换。因为HBA减轻了主处理器在数据存储和检索任务的负担，它能够提高服务器的性能。

二、常见接口类型

硬盘接口是硬盘与计算机系统间的连接部件，作用是在硬盘缓存和主机内存之间传输数据。不同的硬盘接口决定着硬盘与计算机之间的连接速度。在整个系统中，硬盘接口的优劣直接影响着程序运行快慢和系统性能好坏。SCSI与ATA是目前现行的两大主机与外设通信的协议规范，它们各自有自己的物理接口定义。对于ATA协议，对应就是IDE接口；对于SCSI协议，对应就是SCSI接口。

IDE（Integrated Drive Electronics）电子集成驱动器

本意是指把“硬盘控制器”与“盘体”集成在一起的硬盘驱动器。IDE代表着硬盘的一种类型，但在实际的应用中，人们也习惯用IDE来称呼最早出现IDE类型硬盘ATA-1，这种类型的接口随着接口技术的发展已经被淘汰了，而其后发展分支出更多类型的硬盘接口，比如ATA、Ultra ATA、DMA、Ultra DMA等接口都属于IDE硬盘。

IDE接口使用一根40芯或80芯的扁平电缆连接硬盘与主板，每条线最多连接两个IDE设备（硬盘或者光驱）。

IDE接口属于并行的ATA标准，所以也称为PATA（Parallel ATA）。由于并行传输随着电路频率的提升，传输线缆上的信号干扰越来越难以解决，已经到达了当前技术的极限，所有，并行IDE硬盘逐渐被串行SATA硬盘取代。

SATA（Serial Advanced Technology Attachment）串行ATA ，一种基于行业标准的串行硬件驱动器接口。（普遍用于机械硬盘HDD）

特点：

总线使用嵌入式时钟信号，可同时对指令及数据封包进行循环冗余校验，具有较强的纠错能力，提高了数据传输的可靠性(PATA只能对来回传输的数据进行校验，无法对指令进行校验)。
结构简单、支持热插拔（即带电插拔，热插拔功能就是允许用户在不关闭系统，不切断电源的情况下取出和更换损坏的硬盘、电源或板卡等部件）
传输速度快。连续串行方式传输数据，2003年发布的SATA1.0 规范提供的传输速率已经达到150MB/S,比最快的并行ATA133MB/s还快。（SATA传输率说明：数据传输速率是指串行接口数据传输的实际比特率，SATA 1.0的传输速率是1.5Gb/s，SATA 2.0的传输速率是3.0Gb/s，SATA 3.0的传输速率是6.0Gb/s。与其他高速串行接口一样，SATA接口也采用了一套用来确保数据流特性的编码机制，这套编码机制将原本每字节所包含的8位数据（即1B＝8b）编码成10位数据（即1B＝10b），这样一来，SATA接口的每字节串行数据流就包含了10位数据，经过编码后的SATA传输速率就相应地变为SATA实际传输速率的十分之一，所以1.5Gb/s＝150MB/s，3.0Gb/s＝300MB/s，而6.0Gb/s＝600MB/s。）

串行传输：字符中比特位在发送端一位接一位地传送，数据到达接收端后，接收设备将依次传来地比特流还原成字符。成本低，适合远距离传输。

并行传输：采用多信道同时传输(通常为8通道)，以字符为单位一个字符一个字符地传送数据，一个字符中多个比特位同时传送给接收端。多条并行通道，成本较高，适合短距离、要求传输速度快的场合。

（在并行传输中，如果传输频率过高，数据线间会产生干扰，造成数据出错，即使为数据线间添加屏蔽层，也不能保证屏蔽掉高频产生地干扰，所以，并行传输的最高传输频率有一定限制。

并行传输最高传输频率约为33MHz,而串行传输的频率达到10GHz,大约为33MHz的310倍，所以并行传输每发送一次，串行传输可发送310次。）

SCSI（Small Computer System Interface，小型计算机系统接口）

SCSI并不是专门为硬盘设计的接口，是一种广泛应用于小型机上的高速数据传输技术，它支持包括磁盘驱动器、磁带机、光驱、扫描仪、服务器和工作站、工控设备在内的多种设备。SCSI接口具有应用范围广、多任务、带宽大、CPU占用率低，以及热插拔等优点，但较高的价格使得它很难如ATA硬盘般普及，因此SCSI硬盘主要应用于中、高端服务器和高档工作站中。

SCSI接口从诞生到现在已经历了二十多年的发展，先后衍生出了SCSI-1、Fast SCSI、Fast-WIDE-SCSI-2、Ultra SCSI、Ultra 2 SCSI、Ultra 160 SCSI、Ultra 320 SCSI等，现在市场中占据主流的是Ultra 160 SCSI、Ultra 320 SCSI接口产品。

在系统中应用SCSI必须要有专门的SCSI控制器（一块SCSI控制卡），才能支持SCSI设备，这与IDE硬盘不同。在SCSI控制器上有一个相当于CPU的芯片，它对SCSI设备进行控制，能处理大部分的工作，降低了中央处理器的负担（CPU占用率）。在同时期的硬盘中，SCSI硬盘的转速、缓存容量、数据传输速率都要高于IDE硬盘，因此更多是应用于商业领域。

SCSI接口连接器分为内置和外置两种：内置数据线的外形和IDE数据线一样，只是针数和规格稍有差别，主要用于连接光驱和硬盘，40针ATA 33线有40根导线，40针ATA 66有80根导线，而SCSI内置接口则分为25针、50针、68针和80针

在服务器领域，并行SCSI硬盘被串行SAS硬盘取代，目前主流的硬盘都是可热插拔的SAS硬盘，SAS就是串行连接的SCSI。

SAS（Serial Attached SCSI）串行连接SCSI接口

SAS是新一代SCSI技术，和SATA相同，都采用串行技术获取更高的传输速度，并通过缩短连接线改善内部空间。此接口的设计是为了改善存储系统的性能、可用性和扩充性，并且提供与SATA硬盘的兼容性。

SAS在SCSI基础上引入SAS扩展器，可以连接更多设备，同时由于它的连接器较小，SAS可以在3.5英寸或更小的2.5英寸硬盘驱动器上实现全双端口，为同时发送读写操作提供了两条活动通道。

单工方式：只允许A发送器给B接收器传送数据，而B不能给A发送数据

半双工方式：可以允许A向B传送数据，也允许B向A传送数据，但是一个时间段只允许发送一个动作。（相互发数据的动作只允许一个先发生，一个后发生）

全双工方式：允许A和B同时进行双向传送数据。（即A——>B 同时 B ——>A）

SAS接口技术可以向下兼容SATA。SAS系统的背板既可以连接具有双端口、高性能的SAS驱动器，也可以连接高容量、低成本的SATA驱动器。（注意，SATA系统并不兼容SAS，所以SAS驱动器不能连接到SATA背板上。）

二者的兼容性主要体现在物理层和协议层的兼容。在物理层，SAS接口和SATA接口完全兼容，SATA硬盘可以直接使用在SAS的环境中。从接口标准上而言，SATA是SAS的一个子标准，因此SAS控制器可以直接操控SATA硬盘，但是SAS却不能直接使用在SATA的环境中，因为SATA控制器并不能对SAS硬盘进行控制。在协议层，SAS由3种类型协议组成，根据连接的不同设备使用相应的协议进行数据传输。其中串行SCSI协议（SSP）用于传输SCSI命令；SCSI管理协议（SMP）用于对连接设备的维护和管理；SATA通道协议（STP）用于SAS和SATA之间数据的传输。因此在这3种协议的配合下，SAS可以和SATA及部分SCSI设备无缝结合。

从上图，可知它们的针数是相同的，区别主要有两个，其一为SATA的数据口和供电接口不相连，而SAS是相连的；另一为SAS接口背面还有触点（冗余接口）。

和传统并行SCSI接口比较起来，SAS不仅在接口速度上得到显著提升（现在主流Ultra 320 SCSI速度为320MB/s，而SAS刚起步速度就达到300MB/s，目前已达到1200MB/s甚至更多），而且由于采用了串行线缆，不仅可以实现更长的连接距离，还能够提高抗干扰能力，并且这种细细的线缆还可以显著改善机箱内部的散热情况。所以SAS硬盘已经成为主流。

PCI-E（peripheral component interconnect express）是一种高速串行计算机扩展总线标准.

PCIe属于高速串行点对点双通道高带宽传输，所连接的设备分配独享通道带宽，不共享总线带宽，主要支持主动电源管理，错误报告，端对端的可靠性传输，热插拔以及服务质量等功能。特点：数据传输速率高，潜力大。

在PCIe总线的物理链路的一个数据通路(Lane)中，由两组差分信号，共4根信号线组成。其中发送端的TX部件与接收端的RX部件使用一组差分信号连接，该链路也被称为发送端的发送链路，也是接收端的接收链路；而发送端的RX部件与接收端的TX部件使用另一组差分信号连接，该链路也被称为发送端的接收链路，也是接收端的发送链路。一个PCIe链路可以由多个Lane组成。

PCIe链路可以由多条Lane组成，目前PCIe链路可以支持1、2、4、8、12、16，即×1、×2、×4、×8、×12、×16宽度的PCIe链路。每一个Lane上使用的总线频率与PCIe总线使用的版本相关。

M.2

当前最复杂、最多变的固态硬盘接口。

M.2接口是Intel推出的一种替代MSATA新的接口规范，是为超极本量身定做的新一代接口标准。

M.2接口从物理形态上，最常见的是B key和M key 两种形态。

M.2的优势：

①兼容多种通信协议，读写速度快

Socket 2（B key ——NGFF(Next Generation Form Factor)）支持SATA、PCI-E x2接口（如果采用PCI-E ×2接口标准，最大的读取速度可以达到700MB/s，写入也能达到550MB/s）

Socket 3（M key ——NVMe) 支持PCI-E ×4接口

②体积小。M.2标准的SDD单面NAND闪存颗粒布置2.75mm,而mSATA为4.85mm,明显mSATA 更厚。

NVMe —— Non-Volatile Memory express(非易失性内存主机控制器接口规范)

NVMe 协议是一种Host(主机)与SSD之间通讯的协议，它在协议栈中隶属高层，是个应用层协议，底层通常是PCIe协议栈。和传统SATA协议相比，NVMe协议作了很多针对多核host以及NAND存储介质的协议优化。

通过PCI Express总线将存储连接到服务器（CPU），能够使固态硬盘(SSD)运行得更快，它有助于缓解闪存通过最初为HDD设计的SAS或SATA连接到系统时出现的瓶颈。

NVMe SSD在很大程度上实现了并行性，极大地提高了吞吐量。传统的SATA连接只能支持一个队列，一次只能接收32条数据，类似只有一条车道的车流可以容纳32辆车。NVMe SSD，当数据从存储传输到服务器主机时，它会进入一行或队列，NVMe存储支持最多64000个队列，每个队列有64000个条目，类似从一条单行道走到一条6.4万车道的路上，每条车道都能容纳6.4万辆汽车。

对于SATA，理论最大传输速度为6.0 Gbps(在实践中，最大传输速度要低得多)。这就相当于给SATA SSD的运行速度设定了上限。超过一定限度，使用再快的闪存对系统的整体性能没有影响，因为SATA连接会造成瓶颈。

NVMe 与 PCIe 的关系？

NVMe是一种协议，是一组允许SSD使用PCIe总线的软硬件标准。

PCIe是实际的物理连接。

三、存储特性指标

1.容量

单个设备能够写入并存储的最大容量，一般以KiB、 MiB、 GiB、TiB等单位衡量

2.BW（bandwidth，带宽）

存储设备单位时间内能够读/写的数据吞吐量，一般以KiB/s、 MiB/s、 GiB/s等单位衡量

3.延迟

存储设备对读/写操作响应的时间，一般以ms单位衡量

磁盘完成一个I/O请求所花费的时间，它由寻道时间、旋转延迟和数据传输时间三部分构成。

（1）寻道时间：指将读写磁头移动至正确的磁道上所需要的时间。寻道时间越短，I/O操作越快，目前磁盘的平均寻道时间一般在3－15ms。

常见磁盘平均物理寻道时间为：
7200转/分的STAT硬盘平均物理寻道时间是9ms
10000转/分的STAT硬盘平均物理寻道时间是6ms
15000转/分的SAS硬盘平均物理寻道时间是4ms

（2）旋转延迟： 指盘片旋转将请求数据所在扇区移至读写磁头下方所需要的时间。旋转延迟取决于磁盘转速，通常使用磁盘旋转一周所需时间的1/2表示。

常见硬盘的旋转延迟时间为：

7200 转/分的磁盘平均旋转延迟大约为60*1000/7200/2 = 4.17ms

10000 转/分的磁盘平均旋转延迟大约为60*1000/10000/2 = 3ms，

15000 转/分的磁盘其平均旋转延迟约为60*1000/15000/2 = 2ms。

(3) 数据传输时间：完成传输所请求的数据所需要的时间，它取决于数据传输率，其值等于数据大小除以数据传输率。目前IDE/ATA能达到133MB/s，SATA 可达到300MB/s的接口数据传输率，数据传输时间通常远小于前两部分消耗时间。简单计算时可忽略。

4.IOPS（I/O per second，每秒输入/输出）

单位时间内存储设备能承载的读写操作次数。

与IOPS容易混淆的另一概念吞吐量

吞吐量（throughput）：指单位时间内可以成功传输的数据数量。吞吐量=IPOS*I/O大小

两者适合于不同的场合：

随机读写频繁的场景，如小文件存储(图片)、OLTP数据库、邮件服务器，关注随机读写性能，IOPS是关键衡量指标。

顺序读写频繁的场景，传输大量连续数据，如电视台的视频编辑，视频点播VOD(Video On Demand)，关注连续读写性能。数据吞吐量是关键衡量指标。

示例：

写入10000个1KB文件要比写入1个10MB文件耗费的时间要多得多，虽然数据总量都是10M。因为写入10000个1KB小文件时，根据文件分布情况和大小情况，可能需要做几万甚至十几万次IO才能完成；而写入一个10M大文件，如果这个文件在磁盘上是连续存放的，那么可能只需要几十次IO就能完成。对于写入小文件的情况，追求的是IOPS高的磁盘。对于写入连续大文件，较高的IOPS性能也不会有提升，需要较大传输带宽的硬盘，追求的是吞吐量大的磁盘。

读取10000个1KB文件，用时10秒 Throught(吞吐量)=1MB/s ，IOPS=1000 追求IOPS
读取1个10MB文件，用时0.2秒 Throught(吞吐量)=50MB/s, IOPS=5 追求吞吐量

吞吐量和带宽的区分

带宽一般指链路上每秒所能传送的比特数，可类比公路的最大限速

吞吐量是实际链路中每秒所能传送的比特数，可类比公路上实际行驶速度

四、数据传输方式

IP传输：通过网络直接进行端到端的数据传输，由软件的服务端和客户端自定义传输协议，常见千兆、10GE（万兆）、25GE、40GE等

iSCSI（Internet Small Computer System Interface）:通过网络连接的SCSI，常用于挂载LUN（逻辑盘）设备 ,用于在基于IP的存储设备之间建立连接及管理连接，在现有的IP网络上封装SCSI数据进行传输。

FC（Fibre Channel，光纤通道）:是一种高速网络互联技术，通过专有的光纤及光交设备进行数据传输，常见8Gb、16Gb等。

FCoE（Fibre Channel over Ethernet，以太网光纤通道标准）:它利用以太网，发送光纤通道的帧，让光纤通信的资料可以以太网中传输。

NFS（Network File System，网络文件系统 ）是一种分布式文件系统，通过网络传输文件数据

CIFS（Common Internet File System，网络文件共享系统），一种应用层网络传输协议，主要功能是使网络上的机器能够共享相关资源。

存储组网方式分类：

SAN(Storage Area Network，存储局域网络)：IP/FC；

NAS(Network Attached Storage，网络附属存储)：NFS CIFS

SAN(Storage Area Network,存储区域网络)

SAN是一个由存储设备和系统部件构成的网络，所有的通信都在一个与应用网络隔离的单独的网络上完成，可以被用来集中和共享存储资源。SAN不但提供了对数据设备的高性能连接，提高了数据备份速度，还增加了对存储系统的冗余连接，提供了对高可用群集系统的支持。
SAN是关联存储设备和服务器的网络。它和以太网有类似的架构。以太网由服务器、以太网卡、以太网集线器/交换机及工作站所组成，而SAN则由服务器、HBA卡、集线器/交换机和存储装置所组成。

NAS（Network Attached Storage）网络附加存储。在NAS存储结构中，存储系统不再通过I/O总线附属于某个服务器或客户机，而直接通过网络接口与网络直接相连，由用户通过网络访问。
NAS实际上是一个带有瘦服务器的存储设备，其作用类似于一个专用的文件服务器。这种专用存储服务器去掉了通用服务器原有的不适用的大多数计算功能，而仅仅提供文件系统功能。与传统以服务器为中心的存储系统相比，数据不再通过服务器内存转发，直接在客户机和存储设备间传送，服务器仅起控制管理的作用。

NAS的主要特点：

　　 1. NAS使用了传统以太网协议，当进行文件共享时，则利用了NFS和CIFS以沟通NT和Unix系统。由于NFS和CIFS都是基于操作系统的文件共享协议，所以NAS的性能特点是进行小文件级的共享存取。

　　 2. NAS设备是直接连接到以太网的存储器，并以标准网络文件系统如NFS、SMB/CIFS over TCP/IP接口向客户端提供文件服务。NAS设备向客户端提供文件级的服务。但内部依然是以数据块的层面与它的存储设备通讯。文件系统是在这个NAS 存储器里。

　　3.2. NAS的主要长处：

　　1. NAS适用于那些需要通过网络将文件数据传送到多台客户机上的用户。NAS设备在数据必须长距离传送的环境中可以很好地发挥作用。

　　2. NAS设备非常易于部署。可以使NAS主机、客户机和其他设备广泛分布在整个企业的网络环境中。NAS可以提供可靠的文件级数据整合，因为文件锁定是由设备自身来处理的。

　　3. NAS应用于高效的文件共享任务中，例如UNIX中的NFS和Windows NT中的CIFS，其中基于网络的文件级锁定提供了高级并发访问保护的功能。

五、CPU与内存、磁盘的交互

CPU使用一种称为内存映射IO的技术向I/O设备发送命令。在使用内存映射I/O系统中，地址空间有一块地址是为了与I/O设备通信保留的，这个地址称为I/O端口。

以磁盘读取数据为例演示CPU、内存、磁盘的交互。

（1）CPU将读命令、逻辑块号和存储磁盘扇区内容的主存地址写到与磁盘相关联的存储器映射地址，发起磁盘读。

（2）磁盘控制器读扇区，并执行到主存的DMA传送

（3）当DMA传送完成，磁盘控制器以一个中断通知CPU