大规模分布式系统概念介绍

大规模分布式计算概念

1、分布式计算
分布式计算：研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。

分布式计算比起其它算法具有以下几个优点：稀有资源可以共享；通过分布式计算可以在多台计算机上平衡计算负载；可以把程序放在最适合运行它的计算机上，其中，共享稀有资源和平衡负载是计算机分布式计算的核心思想之一。

2、并行计算
并行计算（Parallel Computing）是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段

并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发地执行计算

为利用并行计算，通常计算问题表现为以下特征：
1）将工作分离成离散部分，有助于同时解决；
2）随时并及时地执行多个程序指令；
3）多计算资源下解决问题的耗时要少于单个计算资源下的耗时

空间上的并行导致了两类并行机的产生，分为：
单指令流多数据流（SIMD）
多指令流多数据流（MIMD）

常用的串行机也叫做单指令流单数据流（SISD）

MIMD类的机器又可分为以下常见的五类：
并行向量处理机（PVP）
对称多处理机（SMP）
大规模并行处理机（MPP）
工作站机群（COW）
分布式共享存储处理机（DSM）

并行计算机有以下五种访存模型：
均匀访存模型（UMA）
非均匀访存模型（NUMA）
全高速缓存访存模型（COMA）
一致性高速缓存非均匀存储访问模型（CC-NUMA）
非远程存储访问模型（NORMA）

3、云计算
云计算（cloudcomputing）是基于互联网相关服务的增加、使用和交互模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

云计算是一种理念，实际上是分布式技术+服务化技术+资源隔离和管理技术（虚拟化）

虚拟化和服务化是云计算的表现形式

虚拟化技术包括：资源虚拟化、统一分配检测资源、向资源池中添加资源。重量级虚拟化产品：VMWare，轻量级虚拟化：Linux的LXC

服务思想包括：软件即服务（SAAS）、平台即服务（PAAS）、基础设施即服务（IAAS）

云计算特点如下：

超大规模
虚拟化
高可靠性使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性
通用性
高可扩展性规模可以动态伸缩，满足应用和用户规模增长的需要
按需提供服务
极其廉价特殊容错措施可以采用极其廉价的节点来构成云，自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，通用性使资源的利用率较之传统系统大幅提升
潜在的危险性

4、离线计算
在离线状态下去分析这些数据，要分析的数据量很大，一般用并行计算方式提高效率，是一种分布式计算应用方式

5、实时计算
是指一种增量计算，是增量性的，少量的，变化的，来了就能算了。也是一种分布式计算应用方式

6、迭代计算
需要考虑阶段，上一阶段的结果是下一个阶段的条件，而且为了高效，最好中间结果保存内存，不要频繁读写文件。也是一种分布式计算应用方式

大规模分布式产品介绍

1、Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。

优点：

高可靠性 Hadoop按位存储和处理数据的能力值得人们信赖
高扩展性 Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中
高效性 Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快
高容错性 Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配
低成本

Hadoop从最初的HDFS分布式文件系统发展为Hadoop+ZooKeeper+Hive+Pig+HBase生态系统

HDFS提供了一个可扩缩的、容错的、可以在廉价机器上运行的分布式文件系统，按行存储，按64MB块进行文件拆分

HDFS的架构是一个NameNode和多个DataNode的结构：

NameNode:存储HDFS的元数据；管理文件系统的命名空间；创建、删除、移动、重命名文件和文件夹；接受从DataNode来的Heartbeat和Blockreport
DataNode:存储数据块；执行从NameNode来的文件操作命令；定时向NameNode发送Heartbeat和Blockreport

Hadoop并不是为了追求一个并行计算的框架而设计，提供快捷和灵活的计算方式去服务各种计算场景，它更多的是一个分布式文件系统，提供文件数据的存储和查询

2、Zookeeper
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户

ZooKeeper在Hadoop生态体系中是作为协同系统出现的

ZooKeeper是以Fast Paxos算法为基础的，ZooKeeper的基本运转流程：

选出Leader
同步数据
选出Leader过程中算法有很多，但要达到的选出标准是一致的
Leader要具有最高的执行ID，类似root权限
集群中大多数的机器得到响应并接受选出的Leader

3、HBase
HBase是一个分布式的、面向列的开源数据库，不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库

HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价机器上搭建起大规模结构化存储集群

HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持；Hadoop MapReduce为HBase提供了高性能的计算能力；Zookeeper为HBase提供了稳定服务和failover机制；Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单；Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变的非常方便

HBase中的所有数据文件都存储在Hadoop HDFS文件系统上，主要包括两种文件类型

HFile， HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile
HLog File，HBase中WAL（Write Ahead Log）的存储格式，物理上是Hadoop的Sequence File

4、Storm
一款用于实时分析的软件，流式计算方式，支持消息分流，增量数据通过消息分发，多个消息接受者并行接受处理

5、Spark
一款基于内存的用于迭代计算的框架

6、MPI（Message Passing Interface）
是消息传递并行程序设计的标准之一，它是一个规范，定义了进程间的通信接口，用于广告算法和迭代算法

7、BSP（Bulk Synchronous Parallel 整体同步并行计算模型）
支持多阶段，将复杂计算过程划分多个阶段，每个阶段等待最慢的进程计算完成才能进行下一个阶段，并且试图通过一些参数指标估算出并行计算时间

8、DAG（Directed Acycline Graph 有向无环图）
支持计算任务流，构成了一个任务并行流的概念

大规模分布式系统架构模式

1、master-slave模式
实现方式：一台计算机作为主调度者，然后其它几台计算机根据调度完成任务；一台计算机上多线程实现；上述两种方式结合实现扩展，可以统一用socket进行通信

特点：
master必须一直存在于集群中，需要承担分配任务，负责协同一致性等角色，接受salve连接，探测感知salve状态等等（master挂掉重选恢复问题，责任过多问题）

2、工厂管理模式
实现方式：
1）员工注册到人资，管理者从人资中获取员工信息
2）管理者负责分配任务，并将任务分配给员工
3）员工从仓库获取资源，执行完成后将产品放回仓库

特点：
管理者（调度）分配任务，员工（多个程序）执行任务，人资（独立程序）负责协同一致性等处理，仓库（可存放任务类型的对象）负责资源供给与产品存放

3、消息中心模式
对于上述管理者和员工之间通过消息中心进行交互

4、网状互联模式
实体之间直接相连

5、外部级联模式

6、内部分阶段模式

7、集群与兼容模式

8、服务化模式
采用webservice 、RESTFUL等