并行计算、分布式计算及集群、网格、云计算之间的联系与区别

并行计算：并行计算是相对于串行计算来说的。可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。并行计算的目的就是提供单处理器无法提供的性能（处理器能力或存储器），使用多处理器求解单个问题。

分布式计算：分布式计算研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。最近的分布式计算项目已经被用于使用世界各地成千上万位志愿者的计算机的闲置计算能力，通过因特网，可以分析来自外太空的电讯号，寻找隐蔽的黑洞，并探索可能存在的外星智慧生命等。

并行计算与分布式计算的区别：（1）简单的理解，并行计算借助并行算法和并行编程语言能够实现进程级并行（如MPI）和线程级并行（如openMP）。而分布式计算只是将任务分成小块到各个计算机分别计算各自执行。（2）粒度方面，并行计算中，处理器间的交互一般很频繁，往往具有细粒度和低开销的特征，并且被认为是可靠的。而在分布式计算中，处理器间的交互不频繁，交互特征是粗粒度，并且被认为是不可靠的。并行计算注重短的执行时间，分布式计算则注重长的正常运行时间。（3）联系，并行计算和分布式计算两者是密切相关的。某些特征与程度（处理器间交互频率）有关，而我们还未对这种交叉点（crossover point）进行解释。另一些特征则与侧重点有关（速度与可靠性），而且我们知道这两个特性对并行和分布两类系统都很重要。（4）总之，这两种不同类型的计算在一个多维空间中代表不同但又相邻的点。

集群计算：计算机集群使将一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单个计算机，比如工作站或超级计算机性价比要高得多。根据组成集群系统的计算机之间体系结构是否相同，集群可分为同构与异构两种。集群计算机按功能和结构可以分为，高可用性集群（High-availability (HA) clusters）、负载均衡集群（Loadbalancing clusters）、高性能计算集群（High-performance (HPC)clusters）、网格计算（Grid computing）。高可用性集群，一般是指当集群中有某个节点失效的情况下，其上的任务会自动转移到其他正常的节点上。还指可以将集群中的某节点进行离线维护再上线，该过程并不影响整个集群的运行。

负载均衡集群，负载均衡集群运行时，一般通过一个或者多个前端负载均衡器，将工作负载分发到后端的一组服务器上，从而达到整个系统的高性能和高可用性。这样的计算机集群有时也被称为服务器群（Server Farm）。一般高可用性集群和负载均衡集群会使用类似的技术，或同时具有高可用性与负载均衡的特点。Linux虚拟服务器（LVS）项目在Linux操作系统上提供了最常用的负载均衡软件。高性能计算集群，高性能计算集群采用将计算任务分配到集群的不同计算节点儿提高计算能力，因而主要应用在科学计算领域。比较流行的HPC采用Linux操作系统和其它一些免费软件来完成并行运算。这一集群配置通常被称为Beowulf集群。这类集群通常运行特定的程序以发挥HPC cluster的并行能力。这类程序一般应用特定的运行库, 比如专为科学计算设计的MPI库。HPC集群特别适合于在计算中各计算节点之间发生大量数据通讯的计算作业，比如一个节点的中间结果或影响到其它节点计算结果的情况。

网格计算：网格计算是分布式计算的一种，也是一种与集群计算非常相关的技术。

如果我们说某项工作是分布式的，那么，参与这项工作的一定不只是一台计算机，而是一个计算机网络，显然这种“蚂蚁搬山”的方式将具有很强的数据处理能力。网格计算的实质就是组合与共享资源并确保系统安全。网格计算通过利用大量异构计算机的未用资源（CPU周期和磁盘存储），将其作为嵌入在分布式电信基础设施中的一个虚拟的计算机集群，为解决大规模的计算问题提供一个模型。网格计算的焦点放在支持跨管理域计算的能力，这使它与传统的计算机集群或传统的分布式计算相区别。网格计算的目标是解决对于任何单一的超级计算机来说仍然大得难以解决的问题，并同时保持解决多个较小的问题的灵活性。这样，网格计算就提供了一个多用户环境。

集群计算与网格计算的区别：（1）简单地，网格与传统集群的主要差别是网格是连接一组相关并不信任的计算机，它的运作更像一个计算公共设施而不是一个独立的计算机。网格通常比集群支持更多不同类型的计算机集合。（2）网格本质上就是动态的，集群包含的处理器和资源的数量通常都是静态的。在网格上，资源则可以动态出现，资源可以根据需要添加到网格中或从网格中删除。（3）网格天生就是在本地网、城域网或广域网上进行分布的。网格可以分布在任何地方。而集群物理上都包含在一个位置的相同地方，通常只是局域网互连。集群互连技术可以产生非常低的网络延时，如果集群距离很远，这可能会导致产生很多问题。物理临近和网络延时限制了集群地域分布的能力，而网格由于动态特性，可以提供很好的高可扩展性。（4）集群仅仅通过增加服务器满足增长的需求。然而，集群的服务器数量、以及由此导致的集群性能是有限的：互连网络容量。也就是说

如果一味地想通过扩大规模来提高集群计算机的性能，它的性价比会相应下降，这意味着我们不可能无限制地扩大集群的规模。而网格虚拟出空前的超级计算机，不受规模的限制，成为下一代Internet的发展方向。（5）集群和网格计算是相互补充的。很多网格都在自己管理的资源中采用了集群。实际上，网格用户可能并不清楚他的工作负载是在一个远程的集群上执行的。尽管网格与集群之间存在很多区别，但是这些区别使它们构成了一个非常重要的关系，因为集群在网格中总有一席之地—— 特定的问题通常都需要一些紧耦合的处理器来解决。然而，随着网络功能和带宽的发展，以前采用集群计算很难解决的问题现在可以使用网格计算技术解决了。理解网格固有的可扩展性和集群提供的紧耦合互连机制所带来的性能优势之间的平衡是非常重要的。

云计算：云计算是最新开始的新概念，它不只是计算等计算机概念，还有运营服务等概念了。它是分布式计算、并行计算和网格计算的发展，或者说是这些概念的商业实现。云计算不但包括分布式计算还包括分布式存储和分布式缓存。分布式存储又包括分布式文件存储和分布式数据存储。

云计算与并行、分布式、网格和集群计算的区别：云计算是从集群技术发展而来，区别在于集群虽然把多台机器联了起来，但其某项具体任务执行的时候还是会被转发到某台服务器上，而云可以简单的认为是任务可以被分割成多个进程在多台服务器上并行计算，然后得到结果，好处在于大数据量的操作性能非常好。云可以使用廉价的PC服务器，可以管理大数据量与大集群，关键技术在于能够对云内的基础设施进行动态按需分配与管理。云计算与并行计算、分布式计算的区别，以计算机用户来说，并行计算是由单个用户完成的，分布式计算是由多个用户合作完成的，云计算是没有用户参与，而是交给网络另一端的服务器完成的。

并行计算进阶--- 详细资料

并行计算科学中主要研究的是空间上的并行问题。空间上的并行导致了两类并行机的产生，按照Flynn的说法分为：单指令流多数据流（SIMD）和多指令流多数据流（MIMD）。我们常用的串行机也叫做单指令流单数据流（SISD）。

MIMD类的机器又可分为以下常见的五类：

并行向量处理机(PVP) 对称多处理机(SMP) 大规模并行处理机(MPP) 工作站机群(COW) 分布式共享存储处理机(DSM)。

访存模型

并行计算机有以下四种访存模型：

均匀访存模型（UMA）非均匀访存模型（NUMA）全高速缓存访存模型（COMA）

一致性高速缓存非均匀存储访问模型（CC-NUMA）和非远程存储访问模型（NORMA）。

从物理划分上，共享内存和分布式内存是两种基本的并行计算机存储方式，除此之外，分布式共享内存也是一种越来越重要的并行计算机存储方式。

存储问题在计算机中的地位越来越重要，现在计算机的性能在很大程度上决定于存储器，而且新型的计算机有可能采用以存储器为中心而不是传统的以处理器为中心。共享内存的并行计算机在编程上相对简单，容易使用，但是它有一个重要的缺点就是扩展性较差，不可能有太多的处理器共用相同的存储器，这样由于一致性访问和读写冲突等问题会引起计算效率的降低。对于分布式内存的并行计算机，其扩展性较好，增加更多的处理器引起的问题不会象共享内存一样突出，但是在这样的计算机上编写并行程序相对较难。共享内存的并行计算机对于共享内存的并行计算机，各个处理单元通过对共享内存的访问来交换信息、协调各处理器对并行任务的处理。对这种共享内存的编程，实现起来相对简单，但共享内存往往成为性能特别是扩展性的重要瓶颈。分布式内存的并行计算机

对于分布式内存的并行计算机，各个处理单元都拥有自己独立的局部存储器，由于不存在公共可用的存储单元，因此各个处理器之间通过消息传递来交换信息，协调和控制各个处理器的执行。这是本书介绍的消息传递并行编程模型所面对的并行计算机的存储方式。不难看出，通信对分布式内存并行计算机的性能有重要的影响，复杂的消息传递语句的编写成为在这种并行计算机上进行并行程序设计的难点所在，但是，对于这种类型的并行计算机，由于它有很好的扩展性和很高的性能，因此，它的应用非常广泛。分布式共享内存的并行计算机

分布式共享内存的并行计算机结合了前两者的特点，是当今新一代并行计算机的一种重要发展方向。对于目前越来越流行的机群计算（Cluster Computing），大多采用这种形式的结构。通过提高一个局部结点内的计算能力，使它成为所谓的"超结点"，不仅提高了整个系统的计算能力，而且可以提高系统的模块性和扩展性，有利于快速构造超大型的计算系统。

并行计算资料收集

〖原创〗ANSYSCFX10并行计算全套攻略（windows和linux） - 傲雪论坛 http://www.aoxue.org/cgi-bin/bbs/topic_show.cgi?id=99554&h=1

开发Linux下的并行程序

http://linux.ccidnet.com/art/302/20021104/29571_1.html

架构高性价比的分布式计算机集群

http://linux.ccidnet.com/art/737/20021029/29111_1.html

[转帖]Phoenics、STAR-CD、CFX三种软件的比较 http://cfluid.imcas.net/cgi-bin/ ... rum=7&topic=771

高性能并行计算PDF

http://www.sccas.cn/gb/learn/download/presentation.pdf

SimWe仿真论坛并行计算

http://www.simwe.com/forum/archiver/fid-56-page-23.html

流体力学

http://combust.hit.edu.cn/cgi-bin/forums.cgi?forum=17

[总结]windows下fluent并行

http://219.232.54.3/cgi-bin/LB50 ... m=6&topic=9849#

www.equn.com 分布式中国

并行计算、分布式计算及集群、网格、云计算之间的联系与区别相关推荐

并行计算与计算机集群
并行计算与计算机集群 (2011-10-09 11:56:37) 标签: 校园分类: 工作篇并行计算模型并行计算模型通常指从并行算法的设计和分析出发,将各种并行计算机(至少某一类并行计算机)的基 ...
服务器集群负载均衡(F5,LVS,DNS,CDN)区别以及选型
服务器集群负载均衡(F5,LVS,DNS,CDN)区别以及选型下面是"黑夜路人"的<大型网站架构优化(PHP)与相关开源软件使用建议> =============== ...
【转】并行计算、分布式计算、集群计算和云计算
1. 并行计算(Parallel Computing) 并行计算或称平行计算是相对于串行计算来说的.并行计算(Parallel Computing)是指同时使用多种计算资源解决计算问题的过程.为执行并 ...
VPS、云主机 and 服务器集群、云计算的区别
VPS:(virtual private server)虚拟专用服务器,将一台服务器分割成多个虚拟专享服务器的优质服务.实现VPS的技术分为容器技术和虚拟化技术.在容器或虚拟机中,每个VPS都可分配独 ...
p2p 文件服务器集群,基于云计算P2P流媒体服务器集群部署算法.doc
基于云计算P2P流媒体服务器集群部署算法基于云计算P2P流媒体服务器集群部署算法摘要: 针对云计算数据中心网络(DCN)环境下,P2P流媒体服务器集群部署引起的较高带宽占用问题,提出了一种基于云 ...
p2p 文件服务器集群,基于云计算的P2P流媒体服务器集群部署算法.doc
基于云计算的P2P流媒体服务器集群部署算法.doc 基于云计算的P2P流媒体服务器集群部署算法摘要: 针对云计算数据中心网络(DCN)环境下,P2P流媒体服务器集群部署引起的较高带宽占用问题,提出 ...
Nacos8# 集群中节点之间健康检查
引言当新的节点加入集群或者集群中有节点下线了,集群之间可以通过健康检查发现.健康检查的频率是怎么样的?节点的状态又是如何变动的?状态的变动又会触发什么动作.带着这些问题本文捋一捋. 一.内容提要内 ...
使用三台阿里云服务器搭建Hadoop集群（云计算实验踩坑集锦）
使用阿里云服务器搭建这个hadoop集群,踩得坑人已经傻了,浪费了我快一周的时间. 1.准备环节准备三台阿里云服务器 Namenode 121.196.224.191 Datanode1 121.1 ...
分布式和微服务区别_分布式、集群、微服务到底有啥区别?
点击上方"不太厉害的程序猿",选择"置顶或者星标" 你关注的就是我关心的! 来源说明:部分信息来源于csdn 概念: 集群是个物理形态,分布式是个工作方式. 1 ...

并行计算、分布式计算及集群、网格、云计算之间的联系与区别

并行计算、分布式计算及集群、网格、云计算之间的联系与区别相关推荐

最新文章

热门文章