云计算与大数据技术应用

1.1

大数据的定义：

在一定时间范围内用常规软件工具进行捕捉管理与处理数据集合。

经典案例：啤酒与尿布

谷歌与流感

大数据的范围：

采集、储存、搜索、共享、传输、分析和可视化

内存：运行速度

存储：储存容量

海量数据产生：来自大人群互联网

来自大量传感器机械

科学研究及行业多结构专业数据

1887-1890年：电功器

1944年：预见大数据

1997年：用大数据描述超级计算机产生的大量信息

2003-2006年：谷歌提出大数据可重用方案

2008年：提出大数据概念

2009年：大数据逐渐走进互联网

2012年：大数据成为一种新的资产类别

2013年：大数据元年

1ZB=10亿TB

各数剧量单位：KB>MB>GB>TB>PB>EB>ZB>YB>NB>DB

1位（二进制0或1）

1字节（8位）---一个英文字母或二进制8位数

1文字=2字节=16位

1.2第四范式

实验————理论————计算————数据

| | | |

第一范式第二范式第三范式第四范式

大数据的特征：大量化：储存量大

增量大

多样化：来源多：搜索引擎

社交网络

格式多：结构化数据

非结构化数据

快速化

有价值

企业推动大数据：大数据：腾讯、华为、谷歌、ETC、数据库、阿里

1.3 大数据的关键技术

1.大数据预处理技术：数据采集

数据存取

基础架构支持

计算结果展现

2.大数据存储技术：存储设备能持久可靠的存储数据

提供可伸缩接口

提供高效查询、更新等操作

3.大数据分析技术：数据处理

统计和分析

数据研究

模型预测

4.大数据计算技术

1.4大数据的典型计算架构

Hadoop——处理本地数据

Spark——收集并更新

Storm——延迟毫秒级

云计算概述

无处不在的云计算：电子日历

地图导航

钉钉

什么是云计算？

像水、电、煤、一样利用你的IT资源

| |

资源型产品计算存储网络资源

关键词：按需使用、超大规模、高弹性

定义：指按需使用IT资源和应用程序，通过互联网按使用量付费

四种云：

（1）、共有云——提供公共的IT资源

缺点：保密性较低

（2）、私有云——提供给政府、学校等地

优点：保密性高

（3）、社区云——研究人员使用

（4）、混合云——包含以上任意两种生活中的例子

出行论：自己买车、开车——混合云

| |

私有公有

吃饭论：

餐厅——公有云

在家做饭——私有云

在家+厨师——混合云

酒店论：

酒店——公有云

家——私有云

2.1

计算机的基本特征

资源无限量供应
提供自助式服务
资源可控
按使用量付费
远程提供服务

2.2 云计算的发展背景

（1）20世纪60年代，计算机革命

（2）20世纪90年代，互联网革命

1994年——weblo（单向传递）

2004年——weblo（双向传递）

（3）2010年，移动互联网革命

1983年提出“云计算”名词

2008年进入中国

2009年首届云计算大会在中国召开

2012年中国提出定义

2.3典型的云计算的基础构架

2.4

云计算模下的IT建设

特点：

（1）开放硬件平台，软件与硬件解耦

（2）分布式设计，软件定义存储

（3）IT建设的传统IOE架构，转向互联网架构

（4）集中资源地的共享、虚拟化，分时共享

（5）动态调配、弹性伸缩、低成本、标准化硬件

（6）芯片新介质取得突破（云计算IT的基础）

优点：省时、省力、省电、省人、省地

2.5云计算的特点

（1）虚拟化技术

（2）动态可扩展性

（3）按需部署

（4）灵活性高

（5）可靠性高

（6）性价比高

（7）地理分布

（8）先进安全技术

2.6云计算的主要服务模式

IaaS SaaS PaaS

第一层第二层第三层

IaaS（基础设施即服务）（租用）虚拟化技术
PaaS（平台即服务）（编程）数据库服务、web应用

特点：（1）简化开发人员

（2）提供pc端或软件端的开发套件

（3）丰富的开发环境

完全可托管的数据库服务
可配置式的应用程序的构建

（6）支持多语言的开发

（7）面向市场

关键技术：（1）.分布式计算

（2）.分布式存储

3.SaaS（软件即服务）（服务）多租户技术

4.三种服务的区别

（1）IaaS——最底层提供基础设施服务

（2）PaaS——提供软件部署平台

（3）SaaS——拿来即用

例：云计算服务=做饭做菜

云计算服务提供商=饭店

IaaS=提供厨房、锅具等

不提供食材和技术

PaaS=提供厨房、切好的食材

不提供技术

SaaS=提供厨房、食材、技术

IaaS=租车

PaaS=租车+司机

SaaS=坐公交

三.虚拟化技术

1. 什么是虚拟化

作为一种计算机资源管理技术将各种it实体资源抽象转化为另一种形式的技术

2. 云计算与虚拟化有什关系

云计算1.0以虚拟化为核心

云计算2.0以资源为核心

云计算3.0一以应用为核心

云计算：一种服务

虚拟化：一种技术基础

物理机：操作系统

硬件

虚拟机：操作系统

虚拟机

VMM

硬件

虚拟化特点

分区：可分为多个虚拟化机
隔离：虚拟机与虚拟机之间相互独立
封装：独立的文件夹形成
相对于硬件独立——屏蔽底层阴间不兼容问题

虚拟化类型

寄居虚拟化：在主操作系统上安装和运行的一个程

特点:简单易于实现

安装和运行应用程序时依赖于主操作系统对设备的支持

有两层os管理开销大性能损耗大

虚拟机对各种物理主机的调用序都是通过虚拟化层和宿主os一起调用完成

（2）裸金属虚拟化：在硬件上部署虚拟化层

特点：不依赖于操作系统

支持多种操作系统

依赖虚拟层内核和服务控制台进行管理

需要对虚拟层进行内核开发

（3）混合虚拟化：插座内核模块

特点：相对于寄居虚拟化性能高

相对于裸金属虚拟化不需要内核开发

支持多种操作系统

需要底层硬件支持虚拟扩展功能

5.虚拟化层架构

全虚拟化半虚拟化硬件辅助虚拟化

（1）全虚拟化：即所抽象的vm具有完全的物理特性，虚拟化层负责捕获CPU指令，为指令访问硬件充当媒介

特点：os无需修改

速度和功能比较好使用非常简单

移植性好

半虚拟化：特点：架构简单

对os进行修改用户体验比较麻烦

速度上有一定的优势

6.虚拟化技术的优势和劣势

（1）优势：减少物理资源的投诉节约成本

虚拟数据资源迁移方便

提高物理资源的使用率

更加环保，节省能源

易于自动化维护和操作，减少维护成本

数据安全更有保障

（2）劣势：目前业界没有统一的虚拟化技术标准与平台，没有开放的协议

如果没有对数据进行备份，应用虚拟化技术存在一定的风险

虚拟数据中心的迁移，特别是对在线服务的迁移，对用户影响巨大

7. 全虚拟化与半虚拟化举例对比

KVM(性能) Xen（安全）

（1）全虚拟化半虚拟化

（2）内置在内核中需要修改内核

（3）便于版本安装升级维护更新版本重新编辑整个内核

（4）性能高隔离好

四.数据中心的基本概念

数据中心，顾名思义就是数据的中心，是处理和存储海量数据的地方，英文全称为Data Center。用专业的名词解释，数据中心是全球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。

尽管数据中心听起来神秘高大上，但按照最简单直接的理解，数据中心实际上就是我们个人电脑的扩大版，你的家用电脑就是你个人的数据中心。一般来讲，数据中心主要有几大部分构成：机房（建筑物本身）、供配电系统、制冷系统、网络设备、服务器设备、存储设备等。

那数据中心的这些构成模块相当于你家个人电脑的哪些东西呢？做个简单的类比，机房相当于你家的书房，供配电系统相当于你家的插座、电脑电源再加个笔记本的电池，制冷系统相当于你家的空调以及风扇，网络设备相当于你家的路由器以及运营商在你家安装的光猫等，服务器设备相当于你家的电脑主机，存储设备相当于你家的电脑里面的硬盘或者现在的外置存储。

机房

机房是数据中心的载体。广义上，机房包含了其内部所有的构成要素；狭义上，机房则指的是具体的钢筋水泥建筑物。数据中心一般都有一栋或者数栋大楼组成，这些大楼里面又划隔为若干个区域，用来放置各类设备，这些房子就叫做机房。比如你家里的电脑放在书房，那么你家的书房就相当于机房。不过你家的书房可能只有十平方，而数据中心则大的多。小的数据中心几千平方米，大的数据中心则有数十万平方米。数据中心机房的要求很高，按照我们国家的标准，机房有A类、B类、C类三个等级。主要是根据机房的不同配置而言，这个很好理解，就好像同样型号的电脑，CPU8核硬盘256G的就比CPU单核硬盘64G来的更高端。数据中心的机房建筑设计主要体现在防震、防水、防潮以及承重等几方面，层高、楼板以及桩基都与普通的楼房有明显的差别。

供配电系统

供配电系统是数据中心的能源基础。不管什么设备工作都需要电，数据中心的运转也一样离不开电。打个比方，你的电脑笔记本肯定都有电池，停电一般还能用个把小时。数据中心也一样，那么多的设备如果碰到停电可不能停止工作。数据中心供配电系统主要由交流不间断系统、直流不间断系统、电池、高低压配电、发电机构成。数据中心的供配电系统能够有力保障数据中心的运转不受外部市电的短时停电影响，因此即使停电几个小时甚至数天，数据中心仍然能够保持正常的运作。

制冷系统

制冷系统是数据中心的散热器。夏天如果户外温度升到40度以上，很多人就会感到非常难受，数据中心也一样。一旦数据中心内部机房超过40度，很多设备会出现高温告警，甚至高温保护。早些年的时候，部分品牌的个人PC还比较精贵，比如像H牌的笔记本电脑，买回来的同时还要专门配一个散热器。同样的，数据中心也需要制冷系统，给数据中心及时降温，毕竟几千上万台设备同时运行产生的热量是非常大的，温度一高，设备就会罢工。大部分数据中心机房内部的温度保持在25℃左右，这就需要一个连续稳定的制冷系统不断将机房内部设备运转产生的热量及时排除。数据中心要想长期对外服务，制冷系统是必不可少的。

网络设备

网络设备为数据中心构建对内、对外高速的传输通路。在这个信息爆炸的时代，没有网络的话，电脑和手机的使用价值就大打折扣。同样，数据中心也需要一直连着网络，没有与外界网络连接的数据中心只是一个信息孤岛，发挥不了任何作用。数据中心内部有大量的路由器、交换机、传输设备在支撑其数据的运输流转，大型的数据中心几乎涉及到所有网络相关的设备。并且，为了对外网络的安全可靠，很多重要的数据中心都同时引入不同运营商的传输设备，以银行为例，一般会同时采用移动、联通、电信甚至广电来构建其对外的传输通道，这样即使某个运营商的线路断了，也不影响整个数据中心对外提供服务。

服务器设备

服务器设备是数据中心的心脏，负责数据中心海量数据的处理。对于个人来说，一般家里就只有一台电脑，安装十来个程序游戏。而对于数据中心来说，服务器设备就有成千上万台。并且数据中心的服务器设备品种多样，如果性能上来看，有小型机、大型机、X86服务器等；如果从外形上看，则可以分为塔式服务器、机架服务器、刀片式服务器、高密度服务器等。

存储设备

存储设备是海量数据储存的地方，是用于储存信息的设备。很多大型的数据中心都配备有存储服务器，专门用于存储数据和提供数据服务。数据中心的存储设备可不像我们家里的电脑就一两块硬盘那么简单，数据中心的存储能力通常都是PB级以上，1 PB = 1,024 TB = 1,048,576 GB。而一个大型的数据中心，数据储存能力都是上百PB。如果按照一个磁盘1TB的容量来计算，一个500PB的数据中心就相当于有500*1024=512000块1TB磁盘组成。

云计算与大数据技术应用相关推荐

解决方案和项目的区别_沃尔玛用大数据提高销售额，云计算和大数据技术之间的区别汇总...
自从<纽约时报>发表有关沃尔玛如何利用大数据分析来最大化其销售额的文章以来,人们就对大数据充满了狂热.零售商发现飓风期间流行的糖果品牌Pop-Tarts的销量激增,并利用此知识增加了利润. ...
浅谈云计算和大数据技术
浅谈云计算和大数据技术背景: 随着计算机技术的发展,数据量日益增长,现有技术也很难满足业务的发展需求,在代码的层层迭代和优化之后,还是很难满足数据的增长需求,迫切需要一项新的技术来从事数据计算,因为 ...
云计算和大数据技术---学习笔记
云计算和大数据技术 Part 1 云计算基础思维导图: 练习题: Part 1 云计算基础思维导图: 练习题: 云计算技术是硬件技术和网络技术发展到一定阶段而出现的一种新的技术模型,通常技术人员在 ...
云计算与大数据技术应用前四章知识点整理
第一章云计算概论 1.1什么是云计算 1.1.1云计算的定义: 定义:指按需使用IT资源和应用程序,通过互联网.按使用量付费. 像水电煤(资源性产品)一样利用你的IT资源,计算存储网络资源. 有三个关 ...
云计算与大数据技术李春燕
第一章云计算概述云计算:指按需使用IT资源和应用程序,通过互联网按使用量付费. 四种云公有云:提供公共的IT资源缺点:保密性较低私有云:提供给政府.学校等地优点:保密性高社区云:研究人 ...
云计算与大数据技术应用第一章
云计算概述什么是云计算云计算的定义云计算的特点经典的云计算基础架构云计算主要服务模式云计算主要部署模式经典的云计算产品云计算技术的新发展我国的云计算产业现状云计算前景云计算的概念 ...
【云计算与大数据技术】云交付模型、云部署模型、云计算优势与挑战、应用的讲解（超详细必看）
一.云交付模型云计算主要分为三种交付模型,而且这三种交付模型主要是从用户体验的角度出发的,分别是软件即服务(SaaS),平台即服务(PaaS),基础设施即服务(IaaS),对于普通用户而言,他们主要 ...
【云计算与大数据技术】大数据概念和发展背景讲解（图文解释超详细）
一.什么是大数据大数据是一个不断发展的概念,可以指任何体量或负载下那个超出常规数据处理方法和处理能力的数据,数据本身可以是结构化,半结构化甚至是非结构化的,随着物联网技术与可穿戴设备的飞速发展,数据 ...
【云计算与大数据技术】大数据系统总体架构概述（Hadoop+MapReduce ）
一.总体架构设计原则企业级大数据应用框架需要满足业务的需求,一是要求能够满足基于数据容量大,数据类型多,数据流通快的大数据基本处理需求,能够支持大数据的采集,存储,处理和分析,二是要能够满足企业级应 ...
【云计算与大数据技术】分布式数据库NoSQL中KV、列式、图、文档数据库的讲解（图文解释超详细）
一.NoSQL数据库概述 NoSQL泛指非关系型数据库,相对于传统关系型数据库,NoSQL有着更复杂的分类,包括KV数据库,文档数据库,列式数据库以及图数据库等等,这些类型的数据库能够更好的适应复杂类 ...

云计算与大数据技术应用

云计算与大数据技术应用相关推荐

最新文章

热门文章