ᑋᵉᑊᑊᵒ ᵕ̈ᰔᩚ

第一章大数据概述

1.大数据技术的产生

2.大数据的基本概念

什么是大数据？
定义：大数据是指无法在一定时间内用常规软件工具进行抓取，管理和处理的数据集合
经典案例：
(1)啤酒与尿布
(2)谷歌与流感
大数据的范围：采集、储存、搜索、共享、传输、分析和可视化
内存：运行速度
储存：储存容量
海量数据产生：
（1）来自大人群互联网
（2）来自大量传感器机械
（3）科学研究及行业多结构专业数据

3.大数据的产生

1887-1890电动器
1944预见大数据
1977用“大数据”描述超级计算机的产生的大量信息
2003-2006行歌提出大数据可重用方案
2008提出大数据概念
2009 大数据逐渐走进互联网
2012 大数据成为一种新的资产类别
2013. 大数据六年.

4.数据量单位

KB>MB>GB>TB>PB>EB>ZB>YB>NB>DB
注：以PB衡量的数据可称之为大数据.
1位(二进制0或1)
1字节（8位） 1个英文字母或二进制8位
1文字=2字节=16位

5.大数据的来源

信息管理系统、网络信息系统、物联网系统、科学实验系统…

6.第四范式.

第一范式：实验
第二范式：理论
第三范式：计算
第四范式：数据

7.大数据的4V特征

 大量化：存储量大增量大多样化：来源多：搜索引擎社交网络通话记录传感器格式多：结构化的数据非结构化的数据快速化：高速数据1/0———互联网连接设备数量增长价值密度低

8.大数据的主要应用

(1)互联网企业
(2)智能电网
(3)车联网应用大数据技术
(4)医疗大数据

9.企业推动大数据行业发展

(1) Google
(2) IBM
(3) 微软
(4) Oracle
(5) EMC
(6) 阿里巴巴
(7) 华为
(8) 腾讯
(9) ETC

10.我国政府推动大数据行业发展

11.大数据的关键技术

（1）大数据预处理技术
①数据采集
②数据存取
③基础架构支持
④计算结果展现.
（2）大数据存储技术
①存储基础设施应能持久和可靠地存储数据
②提供可伸缩的访问接D供用户查询和分析海量数据
③对于结构化数据和非结构化的海量数据能够提供高效的查询，统计，更新等操作
（3）大数据分析技术
①数据处理
②统计和分析
③数据挖掘
④模型预测
（4）大数据计算技术.

12.典型的大数据计算架构.

（1）Hadoop→处理本地数据.
（2）Spark→收集并更新
（3）Storm→延迟毫秒级

第二章云计算概述

**
无处不在的云计算：电子日历，地图导航，钉钉等

一、什么是云计算

像水，电、煤一样利用你的IT资源
↓ ↓
资源性产品计算存储网络资源
关键词：按需使用，超大规模，高弹性
1.云计算的定义
通过互联网以按需使用IT资源和应用，以服务的方式提供动态可伸缩的虚拟化资源的计算模式
2.四种云
(1)公有云：面向社会大众，公共群体的云计算服务的提供，提供公共的IT资源
缺点：保密性较低
(2)私有云：提供面向行业/组织的云计算服务 e.g.政府机关、企事业单位，学校等内部使用的云平台
优点：私密性高
(3)社区云：提供面向社团组织内用户使用的云计算平台研究人员
(4)混合云：包含两种以上的.
生活中的例子.
①出行论
自己买车开车→ 混合云
↓ ↓
私有公有
②吃饭论
餐厅公有云
在家做饭私有云
在家+厨师混合云
③酒店论
酒店→公有
家 →私有
3.云计算的概述
(1)云计算的基本特征
①资源无限量供应
②提供自助式服务
③运程提供服务
④资源可控
⑤按使用量付费
(2)云计算的概念模型
①用户的公用性
②设备的多样性
③商业模式的服务性
④提供方式的灵活性
4.云计算的特点
(1)具有大规模并行计算能力
(2)资源虚拟化和弹性调度
(3)数据量巨大并且增速迅猛
其他特点：
①高习靠性
②通用性
③高性价比

二、六计算技术发展背景

1.飞速发展的网络技术
(1)20世纪60年代：计算机革命
(2) 20世纪90年代：互联网革命.
2.万维网的发明与发展
(1)万维网的发明者：伯纳斯·李
(2)世界上第一个网站：http://info.cern.ch
(3)1994年 Web 1.0 （单向传递）
(4)2004年→web 2.0 (双向传递)
3.信息产业的发展演进
(1)信息发展产业的两个重要核心，硬件驱动力网络驱动力
（2）2010年：互联网革命世界正式进入大数据时代
4.云计算的提出
(1)1983年：提出“云计算”名词
(2)2006年：提出“云计算”的概念，及体系架构
(3)2008年：云计算进入中国
(4)2009年：中国首届云计算大会召开
(5)2012年：我国的政府工作报告给出了对云计算的定义

三.典型的云计算基础架构

Google的云计算基础架构.
主要部分：
数据处理采用MapReduce并行编程模式
大文件存储采用GFS
大规模数据管理系统采用BiqTable
云计算服务采用 Google App Engine
云计算IT架构的水平化架构
应用层
应用平台层：消息总结、数据库、中间体、部署管理架构
云管理层：资源编排层（计算、存储.网络资源）
虚拟化层：计算，存储，网络资源池化
硬件资源层：通用硬件平台

四.六计算模下的IT建设

1.特点
①开放硬件平台、软件与硬件解耦
②分布式设计、软件定义存储
③IT建设的传统IOE架构，转向互联网架构
④集中资源地的共享，虚拟化，分时共享
⑤动态调配，弹性伸缩，低成本，标准化硬件⑥芯片新介质取得突破(云计算IT技术的基础)
2.优点，省时，省力，省钱，省电，省人，省地

五.云计算的特点

1.虚拟化技术
2.动态可扩展性
3.按需部署
4.灵活性高.
5.可靠性高
6.性价比高
7.地理分布
8.先进安全技术

六.云计算的主要服务模式

Iaas Saas Paas
第一层第二层第三层.
1.Laas(基础设施服务)(租用)
关键技术：虚拟化技术分区隔离封装2.PaaS(平台即服务)(编程)
数据库服务，Web应用
特点：
①简化开发人员
②提供PC端或软件端的开发套件
③丰富的开发环境
④完全可托管的数据库服务
⑤可配置式的应用程序的构建
⑥支持多语言的开发
①面向市场
关键技术：
①分布式并行计算
②大文件分布式存储
3.Saas(软件即服务)(用户)
关键技术：多租户技术
4.三种服务的区别
①Iaas →最底层
提供基础设施服务
②Paas →提供软件
部署平台
③ Saas →拿来即用
列：
云计算服务=做菜做饭
云计算服务提供商=饭店
Iaas→提供厨房，厨具等 →租车
不提供：食材和技术
Paas→提供厨房，切好的食材 →租车+司机
不提供：技术
SaaS→提供厨房，食材和技术 →坐公交

第三章虚拟化技术

一.什么是虚拟化？

作为一种计算机资源管理技术，将各种的IT实体资源抽象转化为另一种形式的技术

二.云计算与虚拟化有什么关系？

云计算1.0→以虚拟化为核心
云计算2.0→以资源为核心
云计算3.0→以应用为核心
云计算：一种服务
虚拟化：一种技术基础

三.物理机与虚拟机

物理机

虚拟机

四.虚拟化的特点

1.分区 →可分为多个虚拟机
2.隔离 →虚拟机与虚拟机之间相互独立
3.封装 →独立的文件夹形式
4.相对于硬件独立 →屏蔽底层硬件不兼容问题

五.虚拟化类型

1.寄居虚拟化：在主操作系统上安装和运行的
特点：
(1)简单易于实现
(2)安装和运行应用程序时，依赖于主操作系统对设备的支持
(3)有两层OS，管理开销大，性能损耗大
(4)虚拟机对各种物理主机的调用，都是通过虚拟化层和宿主OS一起调用完成
Vmware Workstation 等.
2.裸金属虚拟化：在硬件上部署虚拟层

特点：
(1)不依赖干操作系统
(2)支持多种操作系统
(3)依赖虚拟化层内核和服务控制台进行管理
(4)需要对虚拟层进行内核开发
VMware ESX,Xen 等
3.混合虚拟化→插入内核模块

特点：
(1)相对于寄居虚拟化，性能高
(2)相对于裸金属虚拟化，不需要内核开发
(3)支持多种操作系统
(4)需要底层硬件虚拟扩展功能红帽KVM

六、虚拟化层架构.

全虚拟化(KVM)，半虚拟化(Xen)，硬件辅助虚拟化
1.全虚拟化：即所抽象的VM具有完全的物理特性，虚拟化层负责捕获CPU指令，为指令访问硬件充当媒介

特点：
(1)OS无需修改
(2)速度和功能比较好，使用非常简单
(3)移植性好.
2.半虚拟化

特点：
(1)架构更简单
(2)对OS进行修改，用户体验比较麻烦
(3)速度上有一定优势
3.硬件辅助虚拟化

七.虚拟化技术的优势与劣势

1.优势
(1)减少物理资源的投入，节约成本
(2)虚拟数据资源迁移方便
(3)提高物理资源利用率
(4)更加环保，节省能源
(5)易于自动化维护与操作，减少维护成本
(6)数据安全更有保障
2.劣势
(1)目前业界没有统一的虚拟化技术标准与平台，没有开放的协议
(2)如果没有对数据进行份，应用虚拟化技术会存在一定的风险
(3)虚拟数据中心的迁移，特别是对在线服务的迁移，对用户影响巨大.

八.全虚拟化与半虚拟化举例对比.

1.KVM(性能)
(1)全虚拟化
(2)内置在内核中
(3)便于版本安装，升级，维护
(4)性能高
2.Xen(安全)
(1)半虚拟化
(2)需要修改内核
(3)更新版本，重新编缉整个内核
(4)隔离好

第四章数据中心

一.数据中心的概念

数据中心是全球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。

二.数据中心的组成部分

机房（建筑物本身）、供配电系统、制冷系统、网络设备、服务器设备、存储设备等。

三.发展历程

2012年，IBM公司进行了一项深入的研究，调查了7个国家的300多名IT主管，以评估全球IT网络中数据中心的总体运营状况。
第1阶段：基础数据中心
第2阶段：综合数据中心
第3阶段：可用数据中心
第4阶段：战略数据中心

四.数据中心的基本单元———服务器

塔式服务器：
塔式服务器的机箱比较大，服务器的配置也可以很高，冗余扩展更可以很齐备，所以它的应用范围非常广，应该说目前使用率最高的一种服务器就是塔式服务器，通用服务器一般都是塔式服务器
机架式服务器：
在有限的空间内部署更多的服务器直接关系到企业的服务成本，通常选用机械尺寸符合19英寸工业标准的机架式服务器。机架式服务器也有多种规格，例如1U（4.445cm高）、2U、4U、6U、8U等。通常1U的机架式服务器最节省空间，但性能和可扩展性较差，适合一些业务相对固定的使用领域。4U以上的产品性能较高，可扩展性好，一般支持4个以上的高性能处理器和大量的标准热插拔部件。管理也十分方便，厂商通常提供人相应的管理和监控工具，适合大访问量的关键应用，但体积较大，空间利用率不高。

五.数据中心建设原则

数据中心核心建设内容包括：数据资源建设，数据服务系统建设，以及与之相关的技术标准和规范、网络及软硬件基础平台、信息安全系统等方面的建设。数据中心的建设应坚持如下原则。
（1) 规范化
（2) 网络化
（3) 安全性
（4) 实用性
（5) 可扩展性

六.数据中心选址

数据中心的选址是数据中心建设的早期重要工作，数据中心的使用年限往往会超过20 年、数据中心的建设、运行、维护涉及对于地质条件、气候环境、电力供给、网络带宽、人力资源等条件。
数据中心的选址从地理位置的选址上来看，近二十年数据中心的选址经过了三个阶段。
第一阶段：选址在市中心。早些年还没有数据中心这一名词，当时各大单位承担数据中心这一职能的一般叫计算中心或信息中心，机房的规模不大，几乎都在500平方米以下。这时候的机房一般都位于市中心的各大办公楼中，比如银行、保险、电力、政府机关等单位，其机房与办公楼都融为一体。即使到今天，在大街小巷的办公大楼中仍然有大量微型的数据中心在运行。
第二阶段：选址在郊区。随着互联网的发展，数据量开始井喷，传统的机房已经不能满足需要，这个时候的机房选址就开始呈现郊区化，几千平方米的数据中心开始出现，但由于中心城市土地资源极度稀缺，这些几千平方米的数据中心就只能在郊区安家。许多大型机构像银行、保险等开始呈现全国数据集中化的趋势。运营商是这类数据中心的建设鼻祖，早期各大运营商的通信枢纽机房慢慢演变为全业务机房，不仅承担着语音通信数据流转的核心作用，还承担着辖区内用户数据、计费数据、业务数据以及互联网数据处理的作用，该类机房的面积一般在5000平方-10000平方米。后来随着互联网业务的发展，托管业务需求大量出现。所谓托管，就是指一些互联网公司租用运营商的机房，将自己的设备存放在运营商的机房中，由运营商提供相应的机房基础设施及网络的接入，各类IDC机房开始涌现。随着互联网公司的不断壮大，托管的设备呈现井喷之势。从成本及数据安全性考虑，一些大的互联网运营商开始筹建自己的数据中心，比如腾讯第一代数据中心在2006年前后起步。该类数据中心的特点是直接租用运营商的传输链路，在数据中心内部划分部分区域作为运营商传输机房，直接接入到运营商的网络中。比如笔者工作过的某行数据中心，就位于上海外围。该地区集中了各大银行总行级的数据中心，每个银行的占地规模都超过100亩，如此大的用地在市中心几乎不现实。
第三阶段：选址异地远程化。数据中心开始大量的异地远程化建设，从地理位置上看，逐步远离一二线城市。上万甚至数万平方米的数据中心开始大量出现，数据中心的耗电量越来越大。而数据中心的制冷系统是数据中心的耗电大户，为了节约能源、节省成本开支，各大互联网巨头开始在温度低、散热条件好、电费低的区域大规模建设数据中心。在第三阶段有两个数据中心建设的热门区域，一个是内蒙古，一个是贵州。实际上在贵州之前，内蒙古就成为了各大互联网企业的香饽饽。内蒙古的呼和浩特、鄂尔多斯、乌兰察布等地方都密集开始了IDC的建设。随着第三阶段数据中心的建设发展，也进一步促进了国家级互联网骨干直联点的建设。国家级互联网骨干直连点作为国家重要通信枢纽，主要用于汇聚和疏通区域乃至全国网间通信流量，是我国互联网网间互联架构的顶层关键环节。

————————————萝卜

ᑋᵉᑊᑊᵒ ᵕ̈ᰔᩚ

第一章大数据概述

第二章云计算概述

第三章虚拟化技术

第四章数据中心

最新文章

热门文章

ᑋᵉᑊᑊᵒ ᵕ̈ᰔᩚ

第一章 大数据概述

第二章 云计算概述

第三章 虚拟化技术

第四章 数据中心

最新文章

热门文章

第一章大数据概述

第二章云计算概述

第三章虚拟化技术

第四章数据中心