云计算与大数据技术 李春燕
第一章 云计算概述
云计算：指按需使用IT资源和应用程序，通过互联网按使用量付费。
四种云
公有云：提供公共的IT资源
缺点：保密性较低
私有云：提供给政府.学校等地
优点：保密性高
社区云：研究人员使用
混合云：包含以上任意两种
云计算的基本特征
资源无限量供应
提供自助式服务
远程提供服务
资源可控
按使用量付费
云计算的发展背景
（1）20世纪60年代,计算机革命
（2）20世纪90年代,互联网革命
（3）2010年，移动互联网革命
典型的云计算基础架构
GFS分布式文件系统
针对Google应用程序的特点提出的MapReduce编程模型
大规模分布式数据库BigTable
云计算模下的IT建设
特点：①开放硬件平台，软件与硬件解耦
②分布式设计、软件定义存储
③IT建设的传统IOE架构，转向互联网架构
④集中资源地的共享、虚拟化、分时共享
⑤动态调配,弹性伸缩，低成本，标准化硬件
⑥芯片新介质取得突破（云计算IT的基础）
优点：省时，省力，省钱，省电，省人，省地
云计算的特点
虚拟化技术
动态可扩展性
按需部署
灵活性高
可靠性高
性价比高
地理分布
先进安全技术
云计算的主要服务模式
IaaS(基础设施即服务)
关键技术：虚拟化技术
PaaS(平台即服务)
特点：①简化开发人员
②提供PC端或软件端的开发套件
③丰富的开发环境
④完全可托管的数据库服务
⑤可配置式的应用程序的构建
⑥支持多语言的开发
⑦面向市场
关键技术：①分布式并计算
②分布式存储
SaaS(软件即服务)
关键技术：多租户技术
三种服务的区别
IaaS:最底层
提供基础设施服务
PaaS:提供软件
部署平台
SaaS:拿来即用
第二章 大数据技术概述
大数据的定义
在一定时间范围内用常规软件工具进行捕捉，管理和处理数据集合
经典案例
1.啤酒与尿布
2.谷歌与流感
大数据的范围:采集、存储、搜索共享、传输，分析和可视化
内存:运行速度
存储:储存容量
海量数据产生:
（1）来自大人群互联网
（2）来自大量传感器机械
（3）科学研究及行业多结构专业数据
1887-1890年:电功器
1944年:预见大数据
1997年:用大数据描述超级计算机产生的大量信息
2003-2006年:谷歌提出大数据可重用方案
2008年:提出大数据既念
2009年:大数据逐渐走进互联网
2012年:大数据成为一种新的资产类别
2013年：大数据元年
1ZB=10亿TB
各数据量单位:KB>MB>GB>TB>PB>EB>ZB>YB>NB>DB
单位以PB衡量的数据可称为大数据
1位(二进制0或1)
1字节(8位):1个英文字母或二进制8位数文字
1文字=2字节=16位
第四范式
实验→理论→计算→数据
大数据的特征
大量化:①存储量大②增量大
多样化：①来源多:搜索引擎、社交网络②格式多:结构化数据、非结构化数据
快速化
有价值
企业推动大数据
腾讯、华为、谷歌、ETC、数据库、阿里
大数据的关键技术
1.大数据预处理技术
①数据采集
②数据存取
③基础架构支持
④计算结果展现
2.大数据存储技术
①存储设备能持久可靠的存储数据
②提供可伸缩接口
③提供高效查询、更新等操作
大数据分析技术
①数据处理
②统计和分析
③数据挖掘
④模型预测
大数据计算技术
大数据的典型计算架构
Hadoop:处理本地数据
Spark:收集并更新
Storm:延迟毫秒级
第三章 虚拟化技术
虚拟化技术
什么是虚拟化？
作为一种计算机资源管理技术，将各种的IT实体资源抽象转化为另一种形式的技术
云计算与虚拟化有什么关系？
云计算1.0→以虚拟化为核心
云计算2.0→以资源为核心
云计算3.0→以应用为核心
云计算：一种服务
虚拟化：一种技术基础
物理机①操作系统（Host Os）
②硬件（Host Machine）
虚拟机①操作系统(Guest Os)
②虚拟机(Guest Machine)
③VMM(虚拟监控器)
④硬件(Host Machine)
虚拟化的特点
分区：可分为多个虚拟机
隔离:虚拟机与虚拟机之间相互独立
封装:独立的文件夹形式
相对于硬件独立:屏蔽底层硬件不兼容问题
虚拟化类型
（1）寄居虚拟化:在主操作系统上安装和运行一个程序
特点:①简单易于实现
②安装和运行应用程序时，依赖于主操作系统对设备的支持
③有两层OS,管理开销大，性能损耗大
④虚拟机对各种物理主机的调用，都是通过虚拟化层和宿主OS一起调用完成
（2）裸金属虚拟化:在硬件上不属虚拟化层
特点:①不依赖于操作系统
②支持多种操作系统
③依赖虚拟层内核和服务控制台进行管理
④需要对虚拟层进行内核开发
（3）混合虚拟化：插入内核模块
特点:①相对于寄居虚拟化性能高
②相对于裸金属虚拟化不需要内核开发
③支持多种操作系统
④需要底层硬件支持虚拟扩展功能
虚拟化层架构
全虚拟化(KVM)、半虚拟化(Xen)、硬件辅助虚拟化
全虚拟化:即所抽象的VM具有完全的物理特性，虚拟化层负责捕获CPU指令,为指令访问硬件充当媒介
特点:① Os无需修改
②速度和功能比较好，使用非常简单
③移植性好
半虚拟化:
特点:①架构更简单
②对Os进行修改，用户体验比较麻烦
③速度上占一定优势
硬件辅助虚拟化
虚拟化技术的优势和劣势
（1）优势：①减少物理资源的投入，节约成本
②虚拟数据资源迁移方便
③提高物理资源的使用率
④更加环保，节省能源
⑤易于自动化维护与操作，减少维护成本
⑥数据安全更有保障
劣势：①目前业界没有统一的虚拟化技术标准与平台.没有开放的协议
②如果没有对数据进行备份，应用虚拟化技术会存在一定的风险
③虚拟数据中心的迁移，特别是对在线服务的迁移，对用户影响巨大
全虚拟化与半虚拟化举例对比
KVM(性能) Xen(安全)
全虚拟化 （1）半虚拟化
内置在内核中 （2）需要修改内核
便于版本安装、升级、维护 （3）更新版本，重新编辑整个内核
性能高 （4）隔离好
第四章 数据中心
数据中心的定义：是全球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息
构成：机房（建筑物本身）、供配电系统、制冷系统、网络设备、服务器设备、存储设备等
作用:随着数据中心行业在全球的蓬勃发展，随着社会经济的快速增长，数据中心的发展建设将处于高速时期，再加上各地政府部门给予新兴产业的大力扶持，都为数据中心行业的发展带来了很大的优势。随着数据中心行业的大力发展，将来在很多城市中都会有很大的发展空间，一些大型的数据中心也会越来越多。2017年全球经历了前所未有的自然灾害之后，很多数据中心管理人员都在积极制定灾难恢复计划。例如就可以通过云计算工具对电力使用的功率进行限制，在遭遇停电时间时将允许以降低的功率继续运行，可以为电力企业的正常运行提供有效的保障。还可以利用数据中心指定备份计划，对服务器的操作进行拓展，就不需要通过关闭和重启服务器操作。
数据中心是与人力资源、自然资源一样重要的战略资源，在信息时代下的数据中心行业中，只有对数据进行大规模和灵活性的运用，才能更好的去理解数据，运用数据，才能促使我国数据中心行业快速高效发展，体现出国家发展的大智慧。海量数据的产生，也促使信息数据的收集与处理发生了重要的转变，企业也从实体服务走向了数据服务。产业界需求与关注点也发生了转变，企业关注的重点转向了数据，计算机行业从追求的计算能力转变为数据处理能力，软件业也将从编程为主向数据为主转变，云计算的主导权也将从分析向服务转变。
在信息时代下，数据中心的产生，更多的网络内容也将不再由专业网站或者特定人群所产生，而是由全体网民共同参与。随着数据中心行业的兴起，网民参与互联网、贡献内容也更加便捷，呈现出多元化。巨量网络数据都能够存储在数据中心，数据价值也会越来越高，可靠性能也在进一步加强。
数据中心的发展历程
①巨型机时代
② PC时代
③云计算大数据时代
数据中心的组成
数据中心是全bai球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。它不仅仅包括计算机系统和其它与之配套的设备（例如通信和存储系统），还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。
IDC(Internet Data Center) - Internet数据中心，bai它是传统的数据中心与Internet的结合，它除了具有传统的数据中心所具有的特点外，如数据集中、主机运行可靠等，还应具有访问方式的变化、要做到7x24服务、反应速度快等。IDC是一个提供资源外包服务的基地，它应具有非常好的机房环境、安全保证、网络带宽、主机的数量和主机的性能、大的存储数据空间、软件环境以及优秀的服务性能。
IDC作为提供资源外包服务的基地，它可以为企业和各类网站提供专业化的服务器托管、空间租用、网络批发带宽甚至ASP、EC等业务。简单地理解，IDC是对入驻(Hosting)企业、商户或网站服务器群托管的场所；是各种模式电子商务赖以安全运作的基础设施，也是支持企业及其商业联盟(其分销商、供应商、客户等)实施价值链管理的平台。形象地说，IDC是个高品质机房，在其建设方面，对各个方面都有很高的要求
网络建设
IDC主要是靠其有一个高性能的网络为其客户提供服务，这个高性能的网络包括其- AN、WAN和与Internet接入等方面要求。
IDC的网络建设主要有： - IDC的- AN的建设，包括其- AN的基础结构，- AN的层次，- AN的性能。 - IDC的WAN的建设，即IDC的各分支机构之间相互连接的广域网的建设等。 - IDC的用户接入系统建设，即如何保证IDC的用户以安全、可靠的方式把数据传到IDC的数据中心，或对存放在IDC的用户自己的设备进行维护，这需要IDC为用户提供相应的接入方式，如拨号接入、专线接入及VPN等。 - IDC与Internet互联的建设。
数据中心的建设原则
①数据中心将建在哪里
②需要多少个机架？他们的尺寸是多少
③需要什么等级的数据中心
④每个机架平均功率密度是多少
⑤运维人员需参加规划设计工作
⑥避免受内外部因素影响，不能正确对待倾向，喜好，限制，约束的区别，不遵守科学设计原则
⑦交流机架或直流机架需要什么级别的备份电池
⑧避免轻规划设计，施工建设
⑨避免忽视对系统可维护和可修复设计
⑩避免可用性设计缺乏科学依据
⒒避免在脱离实际需要和可行性情况下，确定高指标
⒓避免重设备轻系统的认识误区.注重统筹设计
数据中心的基本单元--服务器
塔式服务器
塔式服务器的主板扩展性较强，插槽也很多，而且塔式服务器的机箱内部往往会预留很多空间，以便进行硬盘，电源等的冗余扩展。这种服务器无需额外设备，对放置空间没多少要求，并且具有良好的可扩展性，配置也能够很高，因而应用范围非常广泛，可以满足一般常见的服务器应用需求。
这种类型服务器尤其适合常见的入门级和工作组级服务器应用，而且成本比较低，性能能满足大部分中小企业用户的要求，市场需求空间还是很大的。
但这种类型服务器也有不少局限性，在需要采用多台服务器同时工作以满足较高的服务器应用需求时，由于其个体比较大，占用空间多，也不方便管理，便显得很不适合。
机架式服务器
机架式服务器也有多种规格，例如1U（4.445cm高）、2U、4U、6U、8U等。通常1U的机架式服务器最节省空间，但性能和可扩展性较差，适合一些业务相对固定的使用领域。4U以上的产品性能较高，可扩展性好，一般支持4个以上的高性能处理器和大量的标准热插拔部件。管理也十分方便，厂商通常提供人相应的管理和监控工具，适合大访问量的关键应用，但体积较大，空间利用率不高。
机架式服务器的优点，和其他两种样式服务器对比。机架式服务器相对于塔式服务器要节约空间，但是散热稍微差一点，因为空间紧凑。
按结点密度分类
网络节点服务器(NNS)是SNA网络节点(NN) ，一种服务器装置，节点服务器是针对服务器集群来说的。主要应用在WEB、FTP。VPN等等的服务上。所以节点服务器并不是单指某一种服务器。它由多个节点和管理装置整体的管理单元构成，其特征在于： 各节点具备切换该节点的动作模式的模块管理部，该模块管理部根据从所述管理单元传递的构成信息，切换各节点单独动作或与其它节点协调动作.提供一种服务器装置，除以前的刀锋服务器系统的向外扩展型的扩展性外，还具备基于SMP结合多个节点间的向上扩展型的扩展性。各节点具备与其它节点SMP 结合用的单元，各节点的模块管理部根据系统构成信息，切换该节点作为刀锋服务器单独动作或作为SMP服务器的构成模块来动作。在背板上对各节点间链路进行等长布线，通过在各节点内也进行与背板上的各节点间链路等长的环路布线，取得节点间的同步。在背板上搭载向各节点分配基准时钟的基准时钟分配单元，利用各节点内部的时钟分配器来切换基准时钟，由此进行SMP结合的节点的基准时钟的同步。
CISC型CPU目前主要有intel的服务器CPU和AMD的服务器CPU两类。
intel的服务器CPU
(2)AMD的服务器CPU RISC是英文“Reduced Instruction Set Computing ” 的缩写，中文意思是“精简指令集”
在中高档服务器中采用RISC指令的CPU主要有以下几类：
PowerPC处理器
(2)SPARC处理器
(3)PA-RISC处理器
(4)MIPS处理器
(5)Alpha处理器 VLIW是英文“Very Long Instruction Word”的缩写，中文意思是“超长指令集架构”，VLIW架构采用了先进的EPIC（清晰并行指令）设计，我们也把这种构架叫做“IA-64架构”。EPIC处理器主要是Intel的IA-64(包括Intel研发的安腾处理器)和AMD的x86-64两种。
按功能分类
1.文件服务器
2.数据库服务器
3.邮件服务器
4.web服务器
5.DNS服务器
6.代理服务器
7.FTP服务器
8.应用服务器
数据中心选址
数据中心的能耗
从发电的角度说，2年前三峡的电已经不够数据中心用；从用电角度说，数据耗电超过了农业全行业。以能耗作为标准，未来的数据行业是当之无愧的”重“工业。
数据中心能耗评估
PUE = 数据中心总能耗/IT设备能耗，其中数据中心总能耗包括IT设备能耗和制冷、配电等系统的能耗，其值大于1，越接近1表明非IT设备耗能越少，即能效水平越好。
数据中心的主要节能措施
1.调高数据中心温度
2.评估数据中心设备运行情况
3.虚拟化技术的应用
4.及时关闭不必要的用电设备
5.充分利用自然散热
6.人为因素
云计算与大数据技术 李春燕相关推荐
- 解决方案和项目的区别_沃尔玛用大数据提高销售额，云计算和大数据技术之间的区别汇总...
自从<纽约时报>发表有关沃尔玛如何利用大数据分析来最大化其销售额的文章以来,人们就对大数据充满了狂热.零售商发现飓风期间流行的糖果品牌Pop-Tarts的销量激增,并利用此知识增加了利润. ...
- 浅谈云计算和大数据技术
浅谈云计算和大数据技术 背景: 随着计算机技术的发展,数据量日益增长,现有技术也很难满足业务的发展需求,在代码的层层迭代和优化之后,还是很难满足数据的增长需求,迫切需要一项新的技术来从事数据计算,因为 ...
- 云计算和大数据技术---学习笔记
云计算和大数据技术 Part 1 云计算基础 思维导图: 练习题: Part 1 云计算基础 思维导图: 练习题: 云计算技术是硬件技术和网络技术发展到一定阶段而出现的一种新的技术模型,通常技术人员在 ...
- 云计算与大数据技术应用前四章知识点整理
第一章云计算概论 1.1什么是云计算 1.1.1云计算的定义: 定义:指按需使用IT资源和应用程序,通过互联网.按使用量付费. 像水电煤(资源性产品)一样利用你的IT资源,计算存储网络资源. 有三个关 ...
- 云计算与大数据技术应用 第一章
云计算概述 什么是云计算 云计算的定义 云计算的特点 经典的云计算基础架构 云计算主要服务模式 云计算主要部署模式 经典的云计算产品 云计算技术的新发展 我国的云计算产业现状 云计算前景 云计算的概念 ...
- 【云计算与大数据技术】云交付模型、云部署模型、云计算优势与挑战、应用的讲解（超详细必看）
一.云交付模型 云计算主要分为三种交付模型,而且这三种交付模型主要是从用户体验的角度出发的,分别是软件即服务(SaaS),平台即服务(PaaS),基础设施即服务(IaaS),对于普通用户而言,他们主要 ...
- 【云计算与大数据技术】大数据概念和发展背景讲解（图文解释 超详细）
一.什么是大数据 大数据是一个不断发展的概念,可以指任何体量或负载下那个超出常规数据处理方法和处理能力的数据,数据本身可以是结构化,半结构化甚至是非结构化的,随着物联网技术与可穿戴设备的飞速发展,数据 ...
- 【云计算与大数据技术】大数据系统总体架构概述（Hadoop+MapReduce ）
一.总体架构设计原则 企业级大数据应用框架需要满足业务的需求,一是要求能够满足基于数据容量大,数据类型多,数据流通快的大数据基本处理需求,能够支持大数据的采集,存储,处理和分析,二是要能够满足企业级应 ...
- 【云计算与大数据技术】分布式数据库NoSQL中KV、列式、图、文档数据库的讲解（图文解释 超详细）
一.NoSQL数据库概述 NoSQL泛指非关系型数据库,相对于传统关系型数据库,NoSQL有着更复杂的分类,包括KV数据库,文档数据库,列式数据库以及图数据库等等,这些类型的数据库能够更好的适应复杂类 ...
最新文章
- java编程思想 入门_java编程思想学习（基础）
- mysql子查询设置_什么是mysql子查询？如何利用子查询进行过滤？
- python请求url非阻塞_Tornado请求中的非阻塞/异步URL获取
- 数据库里面的id不是连续的，遍历的时候
- mysql全量和增量备份脚本
- VTK：Utilities之GetClassName
- 再刷世界纪录！3051架无人机「同时飞行」演绎震撼灯光秀
- 深度学习04-RNN
- ubuntu linux本地源,如何制作UbuntuLinux操作系统的本地源？
- 前端笔记-vue cli为web添加底纹
- 2012/7/26给Extjs grid中的列自定义渲染方式
- 线性代数复盘 | 同济大学工程数学第六版第二章思维导图笔记——矩阵及其运算（复习专用）
- linux 小巧的浏览器,崇尚简约 六款小体积浏览器推荐
- Struts2 中继承ActionSupport类
- 增霸卡传输掉线/无法登录/再次登录时间长
- idea插件JRebel激活
- 获取pc微信信息_如何获取有关您的PC的详细信息
- python求一元三次方程的根_【九年级 】知识点8 一元二次方程根的判别式的应用...
- 零基础转行到软件测试如何拿到所谓的高薪？
- 中兴echat_公网对讲机都有哪些平台？