什么是集群(cluster)
1、集群
1.1 什么是集群
简单的说,集群(cluster)就是一组计算机,它们作为一个总体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点(node)。一个理想的集群是,用户从来不会意识到集群系统底层的节点,在他/她们看来,集群是一个系统,而非多个计算机系统。而且集群系统的管理员能够任意添加和删改集群系统的节点。
1.2 为什么须要集群
集群并非一个全新的概念,事实上早在七十年代计算机厂商和研究机构就開始了对集群系统的研究和开发。因为主要用于科学project计算,所以这些系统并不为大家所熟知。直到Linux集群的出现,集群的概念才得以广为传播。
对集群的研究起源于集群系统的良好的性能可扩展性(scalability)。提高cpu主频和总线带宽是最初提供计算机性能的主要手段。可是这一手段对系统性能的提供是有限的。接着人们通过添加CPU个数和内存容量来提高性能,于是出现了向量机,对称多处理机(SMP)等。可是当CPU的个数超过某一阈值,象SMP这些多处理机系统的可扩展性就变的极差。主要瓶颈在于CPU訪问内存的带宽并不能随着CPU个数的添加而有效增长。与SMP相反,集群系统的性能随着CPU个数的添加差点儿是线性变化的。图1显示了这中情况。
图1. 几种计算机系统的可扩展性
集群系统的长处并不仅在于此。以下列举了集群系统的主要长处:
高可扩展性:如上所述。
高可用性:集群中的一个节点失效,它的任务能够传递给其它节点。能够有效防止单点失效。
高性能:负载平衡集群同意系统同一时候接入很多其它的用户。
高性价比:能够採用便宜的符合工业标准的硬件构造高性能的系统。
1.2.1 集群系统的分类
尽管 依据集群系统的不同特征能够有多种分类方法,可是一般我们把集群系统分为两类:
高可用(High Availability)集群,简称HA集群。这类集群致力于提供高度可靠的服务。
高性能计算(High Perfermance Computing)集群,简称hpC集群。这类集群致力于提供单个计算机所不能提供的强大的计算能力。
第二页
2、高可用集群
2.1 什么是高可用性
计算机系统的可用性(availability)是通过系统的可靠性(reliability)和可维护性(maintainability)来度量的。project上通经常使用平均无故障时间(MTTF)来度量系统的可靠性,用平均维修时间(MTTR)来度量系统的可维护性。于是可用性被定义为:
MTTF/(MTTF+MTTR)*100%
业界依据可用性把计算机系统分为例如以下几类:
表1. 系统可用性分类
可用比例 年停机时间 可用性分类
99.5 3.7天 常规系统(Conventional)
99.9 8.8小时 可用系统(Available)
99.99 52.6分钟 高可用系统(Highly Available)
99.999 5.3分钟 Fault Resilient
99.9999 32秒 Fault Tolerant
对于关键业务,停机一般是灾难性的。由于停机带来的损失也是巨大的。以下的统计数字列举了不同类型企业应用系统停机所带来的损失。
表 2. 停机给企业带来的损失
应用系统 每分钟损失(美元)
呼叫中心(Call Center) 27000
企业资源计划(ERP)系统 13000
供应链管理(SCM)系统 11000
电子商务(eCoMMerce)系统 10000
客户服务(Customer Service Center)系统 27000
随着企业越来越依赖于信息技术,因为系统停机而带来的损失也越拉越大。
2.2 高可用集群
高可用集群就是採用集群技术来实现计算机系统的高可用性。高可用集群通常有两种工作方式:
容错系统:一般是主从server方式。从server检測主server的状态,当主服务工作正常时,从server并不提供服务。可是一旦主server失效,从server就開始取代主server向客户提供服务。
负载均衡系统:集群中全部的节点都处于活动状态,它们分摊系统的工作负载。一般Webserver集群、数据库集群和应用server集群都属于这样的类型。
关于高可用集群的讨论非常多,这里就不进行深入的阐述了。
第三页
3、高性能计算集群
3.1 什么是高性能计算集群
简单的说,高性能计算(High-Performance Computing)是计算机科学的一个分支,它致力于开发超级计算机,研究并行算法和开发相关软件。高性能计算主要研究例如以下两类问题:
大规模科学问题,象天气预报、地形分析和生物制药等;
存储和处理海量数据,象数据挖掘、图象处理和基因測序;
顾名思义,高性能集群就是採用集群技术来研究高性能计算。
3.2 高性能计算分类
高性能计算的分类方法非常多。这里从并行任务间的关系角度来对高性能计算分类。
3.2.1 高吞吐计算(High-throughput Computing)
有一类高性能计算,能够把它分成若干能够并行的子任务,并且各个子任务彼此间没有什么关联。象在家搜寻外星人( SETI@HOME -- Search for Extraterrestrial Intelligence at Home )就是这一类型应用。这一项目是利用Internet上的闲置的计算资源来搜寻外星人。SETI项目的server将一组数据和数据模式发给Internet上參加SETI的计算节点,计算节点在给定的数据上用给定的模式进行搜索,然后将搜索的结果发给server。server负责将从各个计算节点返回的数据汇集成完整的数据。由于这样的类型应用的一个共同特征是在海量数据上搜索某些模式,所以把这类计算称为高吞吐计算。所谓的Internet计算都属于这一类。依照Flynn的分类,高吞吐计算属于SIMD(Single Instruction/Multiple Data)的范畴。
3.2.2 分布计算(Distributed Computing)
还有一类计算刚好和高吞吐计算相反,它们尽管能够给分成若干并行的子任务,可是子任务间联系非常紧密,须要大量的数据交换。依照Flynn的分类,分布式的高性能计算属于MIMD(Multiple Instruction/Multiple Data)的范畴。
3.3 Linux高性能集群系统
当论及Linux高性能集群时,很多人的第一反映就是Beowulf。起初,Beowulf仅仅是一个著名的科学计算集群系统。以后的非常多集群都採用Beowulf相似的架构,所以,实际上,如今Beowulf已经成为一类广为接受的高性能集群的类型。虽然名称各异,非常多集群系统都是Beowulf集群的衍生物。当然也存在有别于Beowulf的集群系统,COW和Mosix就是另两类著名的集群系统。
3.3.1 Beowulf集群
简单的说,Beowulf是一种可以将多台计算机用于并行计算的体系结构。通常Beowulf系统由通过以太网或其它网络连接的多个计算节点和管理节点构成。管理节点控制整个集群系统,同一时候为计算节点提供文件服务和对外的网络连接。它使用的是常见的硬件设备,象普通pc、以太网卡和集线器。它非常少使用特别定制的硬件和特殊的设备。Beowulf集群的软件也是随处可见的,象Linux、PVM和MPI。
本文的以后几部分将具体介绍Beowulf集群系统的硬件、网络、软件和应用体系结构。
3.3.2 Beowulf集群和COW集群
象Beowulf一样,COW(Cluster Of Workstation)也是由最常见的硬件设备和软件系统搭建而成。通常也是由一个控制节点和多个计算节点构成。COW和Beowulf的主要差别在于:
COW中的计算节点主要都是闲置的计算资源,如办公室中的桌面工作站,它们就是普通的PC,採用普通的局域网进行连接。由于这些计算节点白天会作为工作站使用,所以基本的集群计算发生在晚上和周末等空暇时间。而Beowulf中的计算节点都是专职于并行计算,而且进行了性能优化。它们採用快速网(Myrinet或Giganet)上的消息传递(PVM或MPI)进行进程间通信(IPC)。
由于COW中的计算节点基本的目的是桌面应用,所以它们都具有显示器、键盘和鼠标等外设。而Beowulf的计算节点通常没有这些外设,对这些计算节点的訪问一般是在管理节点上通过网络或串口线实现的。
由于连接COW中计算节点的一般是普通的局域网,所以COW上的高性能应用一般是象SETI@HOME 这种SIMD的高吞吐计算。而Beowulf不管从硬件、网络和软件上都对须要频繁交换数据的MIMD应用做了特别的优化。
3.3.3 Mosix集群
实际上把Mosix集群放在高性能集群这一节是相当牵强的,可是和Beowulf等其它集群相比, Mosix集群确实是种非常特别的集群, 它致力于在Linux系统上实现集群系统的单一系统映象SSI(Single System Image)。Mosix集群将网络上执行Linux的计算机连接成一个集群系统。系统自己主动均衡节点间的负载。由于Mosix是在Linux系统内核中实现的集群,所以用户态的应用程序不须要不论什么改动就能够在Mosix集群上执行。通经常使用户非常少会注意到Linux和Mosix的区别。对于他来说,Mosix集群就是执行Linux的一台PC。虽然如今存在着不少的问题,Mosix始终是引人注目的集群系统。
摘录于:http://hi.baidu.com/movieyouth/blog/item/bbe6d658bad56385800a18b6.html
转载于:https://www.cnblogs.com/gcczhongduan/p/4310778.html
什么是集群(cluster)相关推荐
- redis集群扩容和缩容_redis集群cluster搭建,扩容缩容
1. 概要说明 1.1. 概述 本文旨在说明平台部署环境搭建的过程和详细步骤说明,为后面系统部署提供清晰的参考依照. 以下搭建部署的环境,为一个小型的分布式集群环境.满足负载均衡和单点故障 ...
- dubbo源码解析(三十五)集群——cluster
集群--cluster 目标:介绍dubbo中集群容错的几种模式,介绍dubbo-cluster下support包的源码. 前言 集群容错还是很好理解的,就是当你调用失败的时候所作出的措施.先来看看有 ...
- mysql集群初始化配置_集群Cluster MySQL的安装配置和使用
集群Cluster MySQL的安装配置和使用 发布时间:2020-05-28 14:20:03 来源:亿速云 阅读:233 作者:鸽子 MySQL Cluster MySQL集群 基本概念: &qu ...
- MySQL数据库(九) 集群 Cluster 和性能优化
文章目录 6 MySQL 集群 Cluster 6.1 MySQL主从复制 6.1.1 主从复制架构和原理 6.1.2 实现主从复制配置 6.1.3 主从复制相关 6.1.4 实现级联复制 6.1.5 ...
- 6 MySQL 集群Cluster
文章目录 6 MySQL 集群Cluster 6.1 MySQL 主从复制 6.1.1 主从复制架构和原理 6.1.1.1 服务性能扩展方式 6.1.1.2 MySQL的扩展 6.1.1.3 复制的功 ...
- Elasticsearch - Elasticsearch集群Cluster(三)
阅读本文前可先参考 https://blog.csdn.net/MinggeQingchun/article/details/126618387 一.单机 & 集群 1.单机 单台 Elast ...
- Redis集群Cluster部署
这篇Redis 集群部署笔记参考的书籍资料是: <Redis入门指南>第二版,作者:李子骅 第8章 <Redis开发与运维> 作者:付磊 第10章 以下是学习笔记,记录了Red ...
- [ Redis10篇] 集群Cluster相关灵魂16问
1.哨兵与集群 1).Redis 哨兵 着眼于高可用,在 master 宕机时会自动将 slave 提升为master,继续提供服务. 2).Redis 集群(Cluster)着眼于扩展性,在单个 r ...
- 【Redis】集群(cluster)
文章目录 Redis集群(cluster) 定义 官网 作用 集群算法(分片->槽位) 分片(每台Redis实例) 槽位 slot槽位映射 哈希取余分区 一致性哈希算法分区 哈希槽分区 搭建三主 ...
最新文章
- Linux下快捷键使用
- Android 的简介和体系结构中每个层的功能。
- Java 语言中 Enum 类型的使用介绍
- 深入理解JavaScript的事件循环
- OpenCL列举平台列表以及平台属性信息
- 解析PHP跳出循环的方法以及continue、break、exit的区别介绍
- 最全的jquery datatables api 使用详解
- Flink运行时架构
- Python中__init__和self的意义和作用
- 数据库复习总结(4)-数据库的分离、附加、脚本的创建
- C++项目代码规范(偶自用)
- thinkphp --- 写入日志
- Kafka从上手到实践 - Kafka集群:Kafka Listeners | 凌云时刻
- SSD浅层网络_ssd目标检测
- 影集制作php源码_最新仿720全景在线制作云平台网站PHP源码
- 回归:最小二乘法求解回归模型代码
- 用matlab画树叶,matlab画漂亮的树叶
- 关于Window10系统无法打开Microsoft Store(应用商店)解决方案
- docker 的具名挂载与匿名挂载
- Portapack应用开发教程 自定义开机图片
热门文章
- 【CSDN】设置图片大小
- 【uni-app】动态计算图片高度且保持宽高比
- 【springboot】禁用特定AutoConfiguration/自动配置类
- 在Linux系统安装Nodejs
- mysql数据库2012_SQLServer2012连接mysql5.5
- php mysql 分组 分页_简单的PHP+Mysql实现分页
- 三阶魔方还原步骤图_研究人员开发的AI成功在1.2秒内还原三阶魔方
- submodule切换分支_git子模块分支会随主项目的分支切换吗?
- java 生成缩略图_Java实现等比例缩略图
- PyTorch教程(八):常见激活函数与Loss的梯度