文章目录

并行分布式计算并行机系统互联网络
- 系统互连
- - 分类
  - 网络性能指标
- 静态互联网络
- - 一维线性阵列 1-D Linear Array
  - 二维网孔 / 2-D 网孔 2-D Mesh
  - 二叉树
  - 超立方
  - 总结
- 动态互联网络
- - 总线 Bus
  - 交叉开关 Crossbar
  - 总结
- 标准互联网络
- - 光纤分布式数据接口 FDDI
  - 快速以太网
  - InfiniBand

并行分布式计算并行机系统互联网络

互联网络：并行计算机系统中各处理器与内存模块等之间数据传输机制。

与传统网络不一样，还需要处理 CPU、内存模块等组件的互联，还有系统域网络；
主要包含：讲台互联网络、动态互联网络、标准互联网络。

静态互联网络：处理单元之间连接固定，在程序执行期间保持不变。

典型静态网络有：一维线性阵列、二维网孔、树连接、超立方网络、立方环、洗牌交换网、蝶形网络等；
优点：静态网络中，对机器可以是硬编码，网络稳定使得算法可以对网络做出特殊优化，协议的选择方便；
缺点：不能扩展（不过大型的集群往往不经常扩展）

动态网络：由交叉开关构成，可按应用程序的要求动态地改变连接组态

典型动态网络有：总西安、交叉开关、多级互联网络等；
优点：能够适应不同的算法；
缺点：交叉开关成本高，难以解决广播的问题；

系统互连

网络性能指标

节点度：射入或射出一个节点的边数。在单向网络中，入射和出射边之和称为节点度。

节点度大的时候，传输速度快，但是控制起来麻烦。

网络直径：网络中任意两个几点之间的最长距离，即最大路径数。

网络直径越小越好（比如考虑能不能在降低节点度的同时保持网络直径不上升）

对剖宽度：对分网络各半所必须移除的最少边数。对剖宽度是网络连通度的衡量。

对剖带宽：每秒钟，在最小的对剖平面上，通过所有连线的最大信息位数（如字节数）

对称的：如果从任一节点观察网络都一样，则称网络为对称的。

静态互联网络

一维线性阵列 1-D Linear Array

特点：

并行机中最简单、最基本的互联方式
每个节点只与其左、右近邻相连，也叫二近邻连接；
外节点度为 1，内节点度为 2，直径为 N − 1 N-1 N−1 ，对剖宽度为 1

变型：首尾节点相连可以构成循环移位器，在拓扑结构上等同于环，环可以是单向的或双向的。节点度恒为 2，直径为 ⌊ N 2 ⌋ \lfloor \frac{N}{2} \rfloor ⌊2N⌋ （双向环）或 N − 1 N-1 N−1 （单向环），对剖宽度为 2；

优点：集群数量不多的情况下，一维线性的循环位移器成本低；

缺点：网络直径大、延迟高；

大概长成这样子：

#mermaid-svg-Oga8QcUwa8ybAkYp {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-Oga8QcUwa8ybAkYp .error-icon{fill:#552222;}#mermaid-svg-Oga8QcUwa8ybAkYp .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-Oga8QcUwa8ybAkYp .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-Oga8QcUwa8ybAkYp .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-Oga8QcUwa8ybAkYp .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-Oga8QcUwa8ybAkYp .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-Oga8QcUwa8ybAkYp .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-Oga8QcUwa8ybAkYp .marker{fill:#333333;stroke:#333333;}#mermaid-svg-Oga8QcUwa8ybAkYp .marker.cross{stroke:#333333;}#mermaid-svg-Oga8QcUwa8ybAkYp svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-Oga8QcUwa8ybAkYp .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-Oga8QcUwa8ybAkYp .cluster-label text{fill:#333;}#mermaid-svg-Oga8QcUwa8ybAkYp .cluster-label span{color:#333;}#mermaid-svg-Oga8QcUwa8ybAkYp .label text,#mermaid-svg-Oga8QcUwa8ybAkYp span{fill:#333;color:#333;}#mermaid-svg-Oga8QcUwa8ybAkYp .node rect,#mermaid-svg-Oga8QcUwa8ybAkYp .node circle,#mermaid-svg-Oga8QcUwa8ybAkYp .node ellipse,#mermaid-svg-Oga8QcUwa8ybAkYp .node polygon,#mermaid-svg-Oga8QcUwa8ybAkYp .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-Oga8QcUwa8ybAkYp .node .label{text-align:center;}#mermaid-svg-Oga8QcUwa8ybAkYp .node.clickable{cursor:pointer;}#mermaid-svg-Oga8QcUwa8ybAkYp .arrowheadPath{fill:#333333;}#mermaid-svg-Oga8QcUwa8ybAkYp .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-Oga8QcUwa8ybAkYp .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-Oga8QcUwa8ybAkYp .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-Oga8QcUwa8ybAkYp .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-Oga8QcUwa8ybAkYp .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-Oga8QcUwa8ybAkYp .cluster text{fill:#333;}#mermaid-svg-Oga8QcUwa8ybAkYp .cluster span{color:#333;}#mermaid-svg-Oga8QcUwa8ybAkYp div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-Oga8QcUwa8ybAkYp :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}

二维网孔 / 2-D 网孔 2-D Mesh

特点：几十台机器的量级时常使用的网络

每个节点与其上下左右的近邻相连（边界节点除外），节点度为 4，网络直径为 2 ( N − 1 ) 2(\sqrt{N}-1) 2(N −1) （就是比如从左上角的节点到右下角的节点），对剖宽度为 N \sqrt{N} N ；

变型：

Illiac 网孔：垂直方向上环绕，水平方向上蛇形，节点度恒为 4，网络直径为 N − 1 \sqrt{N}-1 N −1 （同一列的第一和最后一个节点），对剖宽度为 2 N 2\sqrt{N} 2N （除了直接相连的边，还有每个垂直带上的环绕的边）
2-D Torus / 2-D 环绕：垂直和水平方向上均环绕，节点度恒为 4，网络直径为 2 ⌊ N 2 ⌋ 2\lfloor \frac{\sqrt{N}}{2} \rfloor 2⌊2N ⌋ （水平方向和垂直方向上坐标正好差整个网络边长一半的两个节点），对剖宽度为 2 N 2\sqrt{N} 2N （除了直接相连的边，还有每个垂直带上的环绕的边）

二叉树

特点：

除了根、叶节点，每个内节点只与其父节点和两个子节点相连；
节点度为 3，对剖宽度为 1（断开根节点的其中一条边就可以将网络分成等大的两部分），树的直径为 2 ( ⌈ log ⁡ N ⌉ − 1 ) 2(\lceil \log{N} \rceil-1) 2(⌈logN⌉−1) （分别属于根节点的不同子树的两个最深的叶子节点）

变型：

星形网络：增大节点度数到最大，则直径缩小为 2，对剖宽度为 ⌊ N 2 ⌋ \lfloor \frac{N}{2} \rfloor ⌊2N⌋ （就是断开 ⌊ N 2 ⌋ \lfloor \frac{N}{2} \rfloor ⌊2N⌋ 个子节点的边）
胖树：节点的通路自叶向根逐渐变宽，可以适应树状结构的特殊算法，适用度高，常用来构建超大型集群（如超算）

缺点：传统二叉树的根节点的线路容易成为通信瓶颈（胖树就是为了解决这一点）

超立方

特点： n n n-立方由 N = 2 n N=2^n N=2n 个节点构成，节点度为 n n n ，网络直径也是 n n n ，而对剖宽度为 N 2 \frac{N}{2} 2N ；

变型：每个节点替换为由 n n n 个节点构成的环，此时每个顶点的度为 3 3 3 ，而不是 n n n ；

优点：对剖宽度高、网络直径小，带宽高、延迟小；

缺点：节点度高，控制起来较为麻烦，维度上升时控制成本上升很快。

总结

动态互联网络

总线 Bus

常见总线有：PCI、VME、Multibus、Sbus、MicroChannel

多处理机总线系统的主要问题包括总线仲裁、中断处理、协议转换、快速同步、高速缓存一致性协议、分事务、总线桥和层次总线扩展等

交叉开关 Crossbar

单级交换网络：可为每个端口提供更高的带宽。交叉点开关可由程序控制动态设置使其处于 “开” 或 “关” 状态，并能提供所有源宿对之间的动态连接。

交叉开关一般有两种使用方式：

一种是用于 SMP 或多计算机集群中的处理器之间的通信
另一种用于 SMP 服务器或向量超级计算机（我猜是指 PVP）中处理器和存储器之间的存取

单级交叉开关级联起来形成多级互联网络 MIN（Multistage Interconnection Network）:

总结

标准互联网络

光纤分布式数据接口 FDDI

特点：

FDDI 采用双向光纤令牌环，可提供 100-200 Mbps 数据传输速率
FDDI 具有互联大量设备的能力
传统的 FDDI 仅以异步方式操作

快速以太网

已经经历了四代：

第一代：1982 年引入的 10Mbps；
第二代：1994 年宣布的 100Mbps；
第三代：1997 年 IEEE 802.3 工作组宣布的 1Gbps ；
第四代：2002 年 IEEE 802.3ae 通过的 10Gbps，并且 2010 年 6 月 IEEE802.3ba 公布了 20-100Gbps；

InfiniBand

Intel及IBM、Compaq、HP等分别提出了“下一代I/O”和“未来I/O”技术，集合了整个业界的努力开发的，能够替代PCI总线的新 I/O 规范。
InfiniBand 是一种交换式通信结构，包括分层结构、基于信息包的通信机制、3种连接速度等技术。