OpenStack实际上是一个大的调度框架，作为一种中间层存在，对不同服务器的虚拟化进行管理、调度和对接。这个框架能够为从单节点的中小企业到在全球都有数据中心的大公司提供IT基础设施。

OpenStack由美国国家航空航天局和Rackspace合作研发，以Apache许可授权，并且是一个自由软件和开放源代码项目，任何人都可以通过Openstack自行建立和提供云端运算服务。

从架构上看，OpenStack不是单纯一个软件，而是由以下五个相对独立的组件构成：虚拟机计算或实例启动控制设备Nova；虚拟机镜像检索及管理系统Glance，支持内置冗余及容错的对象存储机制Swift；负责用户身份服务与资源管理的Keystone；以及基于Django的仪表板接口与图形化管理前端Horizon.

OpenStack推出旨在打造易于部署、功能丰富且易于扩展的云计算平台，其首要任务是简化云的部署过程并为其带来良好的可扩展性。从组件构成来看OpenStack有许多子项目，用于对云计算平台中的各种资源（如计算能力、存储、网络）提供敏捷管理，并提供对相应虚拟化技术的支持。

5.Hadoop平台与OpenStack的区别

六、Hadoop实现HDFS和MapReduce

为了处理大数据，google提出了大数据技术，MapReduce，BigTable和GFS。

这个技术给大数据处理带来了巨大的变革。

• 降低了大数据处理的成本，用PC机就可以处理大数据，而不需要采用大型机和高端设备进行存储。
• 将硬件故障视为常态的基础上，采用了软件容错的方法，保证软件的可靠性。
• 简化并行分布式计算，不需要控制节点的同步和数据的交换，降低了大数据处理的门槛。

虽然google的技术非常好，但是google并没有将技术开源。不过值得庆幸的是，模仿google大数据的开源实现，Hadoop的出现了。

• Hadoop是什么

1. Hadoop主要完成两件事，分布式存储和分布式计算。
2. Hadoop主要由两个核心部分组成：

（1）HDFS：分布式文件系统，用来存储海量数据。

（2）MapReduce：并行处理框架，实现任务分解和调度。

• Hadoop能做什么

Hadoop能完成大数据的存储，处理，分析，统计等业务，在数据挖掘等方面应用广泛。

• Hadoop的优势

1. 高扩展性。简单的增加硬件就可以达到效果的提高。
2. 低成本，用PC机就能做到。
3. Hadoop具有成熟的生态圈，比如Hive，Hbase，zookeeper等，让Hadoop用起来更方便。

说了这么多，我们还没了解Hadoop的机制。

我们首先就需要了解Hadoop的两个核心组成：HDFS和MapReduce。

• HDFS是什么呢？

前面说过，HDFS是一个分布式文件系统，用来存储和读取数据的。

文件系统都有最小处理单元，而HDFS的处理单元是块。HDFS保存的文件被分成块进行存储，默认的块大小是64MB。

并且在HDFS中有两类节点：

1.NameNode和DataNode。

NameNode：

NameNode是管理节点，存放文件元数据。也就是存放着文件和数据块的映射表，数据块和数据节点的映射表。

也就是说，通过NameNode，我们就可以找到文件存放的地方，找到存放的数据。

DataNode：

DataNode是工作节点，用来存放数据块，也就是文件实际存储的地方。

这么说有点抽象，让我们来看图：

客户端向NameNode发起读取元数据的消息，NameNode就会查询它的Block Map，找到对应的数据节点。然后客户端就可以去对应的数据节点中找到数据块，拼接成文件就可以了。这就是读写的流程。

作为分布式应用，为了达到软件的可靠性，如图上所示，每个数据块都有三个副本，并且分布在两个机架上。

这样一来，如果某个数据块坏了，能够从别的数据块中读取，而当如果一个机架都坏了，还可以从另一个机架上读取，从而实现高可靠。

我们从上图还可以看到，因为数据块具有多个副本，NameNode要知道那些节点是存活的吧，他们之间的联系是依靠心跳检测来实现的。这也是很多分布式应用使用的方法了。

我们还可以看到，NameNode也有一个Secondary NameNode，万一NameNode出故障了，Secondary就会成替补，保证了软件的可靠性。

HDFS具有什么特点呢？

1.数据冗余，软件容错很高。

2.流失数据访问，也就是HDFS一次写入，多次读写，并且没办法进行修改，只能删除之后重新创建

3.适合存储大文件。如果是小文件，而且是很多小文件，连一个块都装不满，并且还需要很多块，就会极大浪费空间。

HDFS的适用性和局限性：

1.数据批量读写，吞吐量高。

2.不适合交互式应用，延迟较高。

3.适合一次写入多次读取，顺序读取。

4.不支持多用户并发读写文件。

了解完了HDFS，就轮到MapReduce了。

• MapReduce是什么：

MapReduce是并行处理框架，实现任务分解和调度。

其实原理说通俗一点就是分而治之的思想，将一个大任务分解成多个小任务(map)，小任务执行完了之后，合并计算结果(reduce)。

也就是说，JobTracker拿到job之后，会把job分成很多个maptask和reducetask，交给他们执行。 MapTask、ReduceTask函数的输入、输出都是<key,value>的形式。HDFS存储的输入数据经过解析后，以键值对的形式，输入到MapReduce()函数中进行处理，输出一系列键值对作为中间结果，在Reduce阶段，对拥有同样Key值的中间数据进行合并形成最后结果。

首先我们需要先知道几个小概念：

1.job  2.task  3.jobTracker  4.taskTracker

job：在Hadoop内部，用Job来表示运行的MapReduce程序所需要用到的所有jar文件和类的集合，>这些文件最终都被整合到一个jar文件中，将此jar文件提交给JobTraker，MapReduce程序就会执行。

task：job会分成多个task。分为MapTask和ReduceTask。

jobTracker：管理节点。将job分解为多个map任务和reduce任务。

作用：
1.作业调度
2.分配任务，监控任务执行进度
3.监控TaskTracker状态

taskTracker：任务节点。一般和dataNode为同一个节点，这样计算可以跟着数据走，开销最小化。

作用：

1.执行任务

2.汇报任务状态

在MapReduce中，也有容错机制。

1.重复执行。一个job最多被执行4次。

2.推测执行。因为Map全部算完之后才会执行Reduce，如果其中一个Map很慢，就会多开一个task来完成同样的工作，哪个执行的快用哪个。

这样，我们就大致了解了Hadoop其中的原理，主要了解HDFS文件系统的存储过程和MapReduce的作业调度分配过程。