云计算入门系列目录

【云计算入门1】云计算是什么？
【云计算入门】云部署模型
【云计算入门2】基本云安全
【云计算入门3】基础技术和并行计算模型
【云计算入门3】并行互连网络、并行访存模型、当代并行机硬件架构

本文目录

云计算入门系列目录

并行互连网络

基本定义

并行体系结构 - 互连网络

静态互连网络

动态互连网络

并行访存模型

均匀访存模型 - UMA

非均匀访存模型-NUMA

全高速缓存访存模型- COMA

高速缓存一致性非均匀访存模型-CC-NUMA

非远程访存模型 -NORMA

当代并行机硬件架构

对称多处理 - SMP

大规模并行处理- MPP

工作站集群 - COW

当代并行计算硬件架构比较

参考资料

并行互连网络

基本定义

并行机中互连网络的任务是从任何源节点向任何目的节点传输信息，支持用以实现编程模型的网络事务处理。

尽可能以小的延迟完成该任务，并且允许大量这样的传输并发地发生。

源节点的通信辅助部件(CA)把信息推向网络接口(NI)从而启动网络事务处理，根据所支持的通信抽象，这些事务在目的节点由通信辅助部件、处理器或存储器控制器处理

并行体系结构 - 互连网络

基本性能指标：

节点度(Node Degree)):射入或射出一个节点的边数。在单向网络中，入射和出射边之和称为节点度。
网络直径(Network Diameter):网络中任何两个节点之间的最长距离，即最长路径边数。
对剖宽度(Bisection Width):对分网络各半所必须移去的最少边数
对剖带宽(Bisection Bandwidth):每秒钟内，在最小的对剖平面上通过所有连线的最大信息位（或字节）数
如果从任一节点观看网络都一样，则称网络为对称的(Symmetry)

类型：
静态互连网络：处理单元间有着固定连接的一类网络，在程序执行期间，这种点到点的链接保持不变
动态互连网络：用交换开关构成，可按应用程序的要求动态地改变连接组态

静态互连网络

一维线性阵列（1-D Linear Array）

并行机中最简单、最基本的互连方式
每个节点只与其左、右近邻相连，也叫二近邻连接
N个节点用N一1条边串接之，内节点度为2，直径为N一1，对剖宽度为1
当首、尾节点相连时可构成循环移位器，在拓扑结构上等同于环，可以是单向的或双向的，其节点度恒为2，直径为N一1，对剖宽度为2

N∗N二维网(2−DMesh)\sqrt{N}*\sqrt{N}二维网(2-D Mesh)N∗N二维网(2−DMesh)

每个节点只与其上、下、左、右的近邻相连（边界节点除外），节点度为4，网络直径为2(N−1)2(\sqrt{N}-1)2(N−1),对剖宽度为N\sqrt{N}N
在垂直方向上带环绕，水平方向呈蛇状，就变成Illiac网，节点度恒为4，网络直径为N−1\sqrt{N}-1N−1，而对剖宽度为2N2\sqrt{N}2N
垂直和水平方向均带环绕，则变成了2-D环绕(2 D Torus),节点度恒为4，网络直径为⌊2N/2⌋\lfloor 2\sqrt{N}/2 \rfloor⌊2N/2⌋,对剖宽度为2N2\sqrt{N}2N

二叉树

除了根、叶节点，每个内节点只与其父节点和两个子节点相连。
节点度为3，对剖宽度为1,而树的直径为$2 (\lceil\sqrt{N}\rceil-1) $
1如果尽量增大节点度，则直径缩小为2，此时就变成了星形网络，其对剖宽度为1
传统二叉树的主要问题是根易成为通信瓶颈。胖树节点间的通路自叶向根逐渐变宽

超立方

一个n-立方由W=2n个顶点组成，3-立方如图(a)所示；4-立方如图(b)所示，由两个3-立方的对应顶点连接而成。
n-立方的节点度为n,网络直径也是n,而对剖宽度为N/2
如果将3-立方的每个顶点代之以一个环就构成了如图(d)所示的3-立方环，此时每个顶，点的度为3，而不像超立方那样节点度为n

动态互连网络

总线：PCl、VME、Multics、Sbus、Micro Channel

多处理机总线系统的主要问题包括总线仲裁、中断处理、协议转换、快速同步、高速缓存一致性协议、分事务、总线桥和层次总线扩展等

交叉开关(Crossbar)

单级交换网络，可为每个端口提供更高的带宽。象电话交换机一样，交叉点开关可由程序控制动态设置其处于“开”或“关”状态，而能提供所有(源、目的)对之间的动态连接。
交叉开关一般有两种使用方式：一种是用于对称的多处理机或多计算机机群中的处理器间的通信：另一种是用于SP服务器或向量超级计算机中处理器和存储器之间的存取。

单级交叉开关级联起来形成多级互连网络MIN(MultistageInterconnection Network)

并行访存模型

均匀访存模型 - UMA

物理存储器被所有处理器均匀共享
所有处理器访问任何存储字取相同的时间
每个处理器可带私有高速缓存
外围设备也可以一定形式共享

非均匀访存模型-NUMA

被共享的存储器在物理上是分布在所有的处理器中的，其所有本地存储器的集合就组成了全局地址空间
处理器访问存储器的时间是不一样的：访问本地存储器LM或群内共享存储器CSM较快，而访问外地的存储器或全局共享存储器GSM较慢（此即非均匀访存名称的由来）
每个处理器照例可带私有高速缓存，外设也可以某种形式共享

全高速缓存访存模型- COMA

各处理器节点中没有存储层次结构，全部高速缓存组成了全局地址空间
利用分布的高速缓存目录D进行远程高速缓存的访问
COMA中的高速缓存容量一般都大于2级高速缓存容量
使用COMA时，数据开始时可任意分配，因为在运行时它最终会被迁移到要用到它们的地方

高速缓存一致性非均匀访存模型-CC-NUMA

大多数使用基于目录的高速缓存一致性协议
保留SMP结构易于编程的优点，也改善常规SMP的可伸缩性
CC-NUMA实际上是一个分布共享存储的DSM多处理机系统
它最显著的优，点是程序员无需明确地在节点上分配数据，系统的硬件和软件开始时自动在各节点分配数据，在运行期间，高速缓存一致性硬件会自动地将数据迁移至要用到它的地方

非远程访存模型 -NORMA

所有存储器是私有的
绝大多数NORMA都不支持远程存储器的访问
在DSM中不存在NORMA

当代并行机硬件架构

对称多处理 - SMP

有两个或更多的相同的处理器共享同一主存，由一个操作系统控制
每个处理器的地位都是平等的，对资源的使用权限相同
不同的处理器之间可以由总线、矩阵开关或片上mesh网络来连接
- 使用总线或矩阵开关的对称多处理架构有可扩展性方面的瓶颈，它是由处理器之间连接的带宽、能耗，以及内存和磁盘阵列等引起的
- 使用mesh连接的架构避免了这些瓶颈。它能够支持更多数量的处理器，具有几乎线性的可扩展性，代价是牺牲可编程性。
现代多数的多处理器系统都采用对称多处理架构，在多核心处理器的例子中，对称多处理架构将每一个核心都当成是独立的处理器

大规模并行处理- MPP

多个由微处理器，局部存储器及网络接口电路构成的节点组成的并行计算体系，节点间以定制的高速网络互联（常采用NORMA访存模型，高带宽低延迟定制互连）
是一种异步的多指令流多数据流，因为它的程序有多个进程，它们分布在各个微处理器上，每个进程有自己独立的地址空间，进程之间以消息传递方式进行通信

一般来说，对于多数据库并行检索相关的应用，MPP性能要优于SMP,例如：决策支持系统、数据仓库等

工作站集群 - COW

分布式存储，MMD,工作站+商用互连网络，每个节点是一个完整的计算机，有自己的磁盘和操作系统
优点：投资风险小，系统结构灵活，性价比高，能充分利用分散的计算资源，可扩展性好

当代并行计算硬件架构比较

参考资料

中国科学院大学工程学院云计算课程PPT

【云计算入门3】并行互连网络、并行访存模型、当代并行机硬件架构相关推荐

离散基础 (1). 从“访存模型”看“切比雪夫定理”
特殊情况下, 你还是可以用通常的解决方法, 但不可否认, 也一定有专属它的性感的方法 1. 基本规则分配律:∑k∈K(cak)=c(∑k∈Kak)\sum\limits_{k \in K}^{} { ...
【云计算入门】云部署模型
云计算入门系列目录 [云计算入门1] 云计算是什么? [云计算入门]云部署模型 [云计算入门2]基本云安全本文目录云计算入门系列目录前言一.云部署模型是什么? 二.部署模型分类 1. 公有云
超级计算机不必采用并行技术,高速并行光互联技术及其应用-通信/网络-与非网...
并行光互连技术伴随着数字化的进程,数据的处理.存储和传输得到了飞速的发展.高带宽的需求使得短距互联成了系统发展的瓶颈.受损耗和串扰等因素的影响,基于铜线的电互联的高带宽情况下的传输距离受到了限制,成 ...
【云计算入门3】基础技术和并行计算模型
云计算入门系列目录 [云计算入门1] 云计算是什么? [云计算入门]云部署模型 [云计算入门2]基本云安全 [云计算入门3]基础技术和并行计算模型本文目录云计算入门系列目录基础技术计算机技术的 ...
云计算入门必备的60条术语
云计算实用之路漫漫其修远兮,当今,各厂商对云计算的定义不一,云计算的标准更是各行其道.在这云计算的混战时代,产生的有关云计算的术语更是目不暇接,整个IT界似乎正在迎来一个云计算术语爆炸的时代,其中有关 ...
存储快速入门——【1】网络存储主要技术（NAS、SAN、SCSI、CIFS、zone）
存储快速入门--[1]网络存储主要技术 1 NAS简介(网络) 在20世纪80年代初,英国纽卡斯尔大学布赖恩.兰德尔教授 ( Brian Randell)和同事通过"纽卡斯尔连接" ...
并行程序调试、测试与模型检测
并行程序调试.测试与模型检测并行程序调试的挑战: 1.由于不能确定不同线程的执行顺序,导致可能的执行路径发生组合爆炸: 2.使用模型检验程序正确性能以应用到分布式系统上. 名词解释确定性重放:通过 ...
【云计算入门2】基本云安全
云计算入门系列目录 [云计算入门1] 云计算是什么? [云计算入门]云部署模型 [云计算入门2]基本云安全本文目录云计算入门系列目录术语和概念威胁作用者(threat agent) 云安全威胁 ...
《腾云：云计算和大数据时代网络技术揭秘》.pdf
关注"Java后端技术全栈" 回复"面试"获取全套面试资料什么是大数据? 最有名的回答莫过于"5V特点": 1)Volume:数据量大,包 ...

【云计算入门3】并行互连网络、并行访存模型、当代并行机硬件架构