服务器体系和共享存储架构
现在市面上常见的一共有三种系统体系和两种存储共享方式
从系统架构来看,大体可分为三大类:
- 对称多处理器结构(SMP:Symmetric Multi-Processor)
- 非一致存储访问结构(NUMA:Non-Uniform Memory Access)
- 海量并行处理结构(MPP:Massive Parallel Processing)。
共享存储型多处理有两种模型:
- 均匀存储器存取(Uniform-Memory-Access,简称UMA)模型
- 非均匀存储器存取(Nonuniform-Memory-Access,简称NUMA)模型
COMA和ccNUMA都是NUMA结构的改进
SMP(Symmetric Multi-Processor)
所谓对称多处理器结构,是指服务器中多个CPU对称工作,无主次或从属关系。
各CPU共享相同的物理内存,每个CPU访问内存中的任何地址所需要的时间是相同的,因此SMP也称为一致存储器访问架构(UMA:Uniform Memory Access)
对SMP服务器进行扩展的方式包括增加内存、使用更快的CPU、增加CPU、扩充I/O(槽口数与总线数)以及添加更多的外部设备(通常是磁盘存储)。
SMP服务器的主要特征是共享,系统中所有资源(CPU、内存、I/O等)都是共享的。也正是由于这种特征,导致了SMP服务器的主要问题,那就是它的扩展能力非常有限。
对于SMP服务器而言,每一个共享的环节都可能造成SMP服务器扩展时的瓶颈,而最受限制的则是内存。由于每个CPU必须通过相同的内存总线访问相同的内存资源,因此随着CPU数量的增加,内存访问冲突将迅速增加,最终会造成CPU资源的浪费,使CPU性能的有效性大大降低。实验证明,SMP服务器CPU利用率最好的情况是2至4个CPU
NUMA(Non-Uniform Memory Access)
由于SMP在扩展能力上的限制,人们开始探究如何进行有效地扩展从而构建大型系统的技术,NUMA就是这种努力下的结果之一,利用NUMA技术,可以把几十个CPU(甚至上百个CPU)组合在一个服务器内.
NUMA随着其访问时间随存储字的位置不同而变化。其共享存储器物理上是分布在所有处理机的本地存储器上。所有本地存储器的集合组成了全局地址空间,可被所有的处理机访问。处理机访问本地存储器是比较快的,但访问属于另一台处理机的远程存储器则比较慢,因为通过互连网络会产生附加时延。
NUMA服务器的基本特征是具有多个CPU模块,每个CPU模块由多个CPU(如4个)组成,并且具有独立的本地内存、I/O槽口等。
由于其节点之间可以通过互联模块(如称为Crossbar Switch)进行连接和信息交互,因此每个CPU可以访问整个系统的内存(这是NUMA系统与MPP系统的重要差别)。显然,访问本地内存的速度将远远高于访问远地内存(系统内其它节点的内存)的速度,这也是非一致存储访问NUMA的由来。
由于这个特点,为了更好地发挥系统性能,开发应用程序时需要尽量减少不同CPU模块之间的信息交互。利用NUMA技术,可以较好地解决原来SMP系统的扩展问题,在一个物理服务器内可以支持上百个CPU。比较典型的NUMA服务器的例子包括HP的Superdome、SUN15K、IBMp690等。
但NUMA技术同样有一定缺陷,由于访问远地内存的延时远远超过本地内存,因此当CPU数量增加时,系统性能无法线性增加。如HP公司发布Superdome服务器时,曾公布了它与HP其它UNIX服务器的相对性能值,结果发现,64路CPU的Superdome (NUMA结构)的相对性能值是20,而8路N4000(共享的SMP结构)的相对性能值是6.3. 从这个结果可以看到,8倍数量的CPU换来的只是3倍性能的提升.
MPP(Massive Parallel Processing)
和NUMA不同,MPP提供了另外一种进行系统扩展的方式,它由多个SMP服务器通过一定的节点互联网络进行连接,协同工作,完成相同的任务,从用户的角度来看是一个服务器系统。其基本特征是由多个SMP服务器(每个SMP服务器称节点)通过节点互联网络连接而成,每个节点只访问自己的本地资源(内存、存储等),是一种完全无共享(Share Nothing)结构,因而扩展能力最好,理论上其扩展无限制,目前的技术可实现512个节点互联,数千个CPU。目前业界对节点互联网络暂无标准,如 NCR的Bynet,IBM的SPSwitch,它们都采用了不同的内部实现机制。但节点互联网仅供MPP服务器内部使用,对用户而言是透明的。
在MPP系统中,每个SMP节点也可以运行自己的操作系统、数据库等。但和NUMA不同的是,它不存在异地内存访问的问题。换言之,每个节点内的CPU不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的,这个过程一般称为数据重分配(Data Redistribution)。
但是MPP服务器需要一种复杂的机制来调度和平衡各个节点的负载和并行处理过程。目前一些基于MPP技术的服务器往往通过系统级软件(如数据库)来屏蔽这种复杂性。举例来说,NCR的Teradata就是基于MPP技术的一个关系数据库软件,基于此数据库来开发应用时,不管后台服务器由多少个节点组成,开发人员所面对的都是同一个数据库系统,而不需要考虑如何调度其中某几个节点的负载。
NUMA、MPP、SMP之间性能的区别
NUMA的节点互联机制是在同一个物理服务器内部实现的,当某个CPU需要进行远地内存访问时,它必须等待,这也是NUMA服务器无法实现CPU增加时性能线性扩展。
MPP的节点互联机制是在不同的SMP服务器外部通过I/O实现的,每个节点只访问本地内存和存储,节点之间的信息交互与节点本身的处理是并行进行的。因此MPP在增加节点时性能基本上可以实现线性扩展。
SMP所有的CPU资源是共享的,因此完全实现线性扩展。
NUMA、MPP、SMP之间扩展的区别
NUMA理论上可以无限扩展,目前技术比较成熟的能够支持上百个CPU进行扩展。如HP的SUPERDOME。
MPP理论上也可以实现无限扩展,目前技术比较成熟的能够支持512个节点,数千个CPU进行扩展。
SMP扩展能力很差,目前2个到4个CPU的利用率最好,但是IBM的BOOK技术,能够将CPU扩展到8个。
MPP是由多个SMP构成,多个SMP服务器通过一定的节点互联网络进行连接,协同工作,完成相同的任务。
MPP和SMP、NUMA应用之间的区别
MPP的优势
MPP系统不共享资源,因此对它而言,资源比SMP要多,当需要处理的事务达到一定规模时,MPP的效率要比SMP好。由于MPP系统因为要在不同处理单元之间传送信息,在通讯时间少的时候,那MPP系统可以充分发挥资源的优势,达到高效率。也就是说:操作相互之间没有什么关系,处理单元之间需要进行的通信比较少,那采用MPP系统就要好。因此,MPP系统在决策支持和数据挖掘方面显示了优势。
SMP的优势
MPP系统因为要在不同处理单元之间传送信息,所以它的效率要比SMP要差一点。在通讯时间多的时候,那MPP系统可以充分发挥资源的优势。因此当前使用的OTLP程序中,用户访问一个中心数据库,如果采用SMP系统结构,它的效率要比采用MPP结构要快得多。
NUMA架构的优势
NUMA架构来看,它可以在一个物理服务器内集成许多CPU,使系统具有较高的事务处理能力,由于远地内存访问时延远长于本地内存访问,因此需要尽量减少不同CPU模块之间的数据交互。显然,NUMA架构更适用于OLTP事务处理环境,当用于数据仓库环境时,由于大量复杂的数据处理必然导致大量的数据交互,将使CPU的利用率大大降低。
服务器体系和共享存储架构相关推荐
- 两台centOS服务器之间挂载共享存储
服务端(192.168.1.122) 1.查看系统是否已安装NFS [root@rapdog ~]# rpm -qa | grep nfs [root@rapdog ~]# rpm -qa | gre ...
- GaussDB(for MySQL)如何在存储架构设计上做到高可靠、高可用
摘要: GaussDB(for MySQL)通过ND算子下推解决存储节点和计算节点之间的传输速度,减少网络开销这个难题. 数据库作为高效稳定处理海量数据交易/分析的坚强数据底座,底层架构设计的重要性不 ...
- PolarFS :一个用于共享存储云数据库的超低延迟和容错分布式文件系统
目录 1. 简介 2. 背景 3. 架构 4. I/O 执行模型 5. 一致性模型 6. FS中层的实现 7. 设计选择和经验教训 8. 价值评估 9. 相关工作 10. 结论 PolarFS : A ...
- IM开发基础知识补课(二):如何设计大量图片文件的服务端存储架构?
1.前言 一个完善的IM系统中通常充斥着大量的图片内容,包括:用户头像.图片消息.相册.图片表情等等,那么在做服务端架构设计时该如何存储这些图片呢? 本文分享的是典型Web应用中大量图片的服务端存储加 ...
- Linux HA集群——共享存储篇
为什么需要共享存储 绝大多数集群都使用共享存储.那why?集群中要保证重要资源的可用性.资源可能运行在任意节点,可能需要访问相同的文件.如果集群资源只处理静态文件,那就不需要共享存储.如果文件改动不频 ...
- openGauss数据库共享存储特性简介
openGauss 3.1.1是openGauss 5.0.0 release版本的Preview版本,希望广大社区伙伴和开发者基于此版本进行场景化验证,提前发现问题并反馈社区,社区将在LTS版本发布 ...
- 服务器体系(SMP, NUMA, MPP)与共享存储器架构(UMA和NUMA)
<Linux内存管理:转换后备缓冲区(TLB)原理> <内存管理:Linux Memory Management:MMU.段.分页.PAE.Cache.TLB> <Mem ...
- Linux架构之NFS共享存储1
第35章 NFS共享存储 35.1 NFS基本概述 NFS是Network File System的缩写及网络文件系统.NFS主要功能是通过局域网络让不同的主机系统之间可以共享文件或目录. 常见的文件 ...
- nfs服务器远程访问,NFS远程共享存储
原标题:NFS远程共享存储 构建储NFS远程共享存 因为NFS有很多功能,不同的功能需要使用不同的端口.因此NFS无法固定端口.而RPC会记录NFS端口的信息,这样就能够通过RPC实现服务端和客户端的 ...
最新文章
- 分享一个电视节目API接口PHP调用代码
- 阿里内部资料!如何试出一个Android开发者真正的水平?系列教学
- 关于禁止svn客户端长驻内存的方法
- Java技术依然备受追捧,主要学习内容有哪些?
- java 链表 最小堆优先级队列_Java集合细说
- windows app html5,使用 HTML5 來偵測位置 (HTML)
- as3中强制垃圾回收
- java mybatis 动态_Java-MyBatis:MyBatis 3 动态 SQL
- 单幅RGB图像+Depth深度图得到点云模型示例
- Elasticsearc 6.x以后不再支持mapping下多个type
- 基于51单片机ds18b20智能温控风扇Proteus仿真
- 【转载】Python自省
- mysql中的alter_MySQL中Alter用法
- 使用python基于git log统计开发代码量
- python怎么实现模糊找色_Python下尝试实现图片的高斯模糊化
- 【常见的优化算法介绍】
- 安装pycrypto
- rxjs 的 observable 是什么?
- css设置透明的border
- 无监督学习的12个最重要的算法介绍及其用例总结
热门文章
- VR全景助力健身房品牌升级,大幅度提升用户到店率
- 计算机端口丢失,win7设备管理器“里头没有了”端口“选项
- 《侠盗飞车手 圣安地列斯》灵异事件
- Aspose.Words for .NET图表教程——创建四种OOXML图表
- 什么是时效性、时效性在百度搜索中的重要性以及如何判断时效性
- SQL简单查询语句,语法
- mysql rrdtool,rrdtool mysql 在运维平台中的应用
- 百度android api坐标转地址,百度API从经纬度坐标到地址的转换服务
- swoole创建多人多房间聊天室三
- 盒子模型--万物皆盒子