11.云计算平台(数据科学概论)
前言:基于人大的《数据科学概论》第十一章。主要内容为云计算的概念与特点、云计算与大数据处理的关系、云计算类型与典型系统、虚拟化技术与数据中心、主流产品与特点、OpenStack开源虚拟化平台、主流厂商的云计算产品。
一、云计算的概念与特点
(1)云计算的概念
根据维基百科,云计算
也称为按需计算,它是提供对可配置的、共享的计算资源池的按需存取的一种计算模型,这里的资源包括计算、存储、网络等硬件资源。
云计算并不是一种全新的计算模型,它是并行计算、分布式计算、以及网络计算发展的新阶段。
(2)云计算的特点
- 虚拟化
- 弹性
- 成本低廉
- 高度容错性和高度可靠性
(3)云计算与并行计算、分布式计算、集群计算、网格计算的区别和联系
- 并行计算是相对于串行计算来讲的,可以分为时间上的并行和空间上的并行
- 分布式计算通过把整个计算任务,分解成一系列的小任务,分布到各个节点(计算机)上分别执行,最后把结果合并,获得最终结果。分布式计算的侧重点,在于任务的划分。
- 集群计算,通过高速网络把一组本来松散联系的节点(计算机),通过软件紧密联系起来,协作完成计算工作。
- 我们把网格计算作为集群计算的一种类型。也可以看作是一类分布式计算。网络计算把大量异构计算节点的资源(CPU计算资源、磁盘存储资源)组织起来,构成一台虚拟的、大的计算机,为解决大规模的计算(包括数据处理)问题,提供计算平台的支持。
云计算是上述技术发展的新阶段,其底层的核心技术是虚拟化,即把计算、存储、网络等硬件都进行虚拟化。在硬件资源基础之上,利用虚拟化技术,提供不同层次的对外服务,包括基础设施作为服务、平台作为服务、以及软件作为服务。
二、云计算与大数据处理的关系
大数据具有数据规模大、数据类型多样、数据生成速度快等几个主要的特点。
- 把大数据分布到大量的节点上,通过各个节点的并行处理,才能实现大数据的快速有效处理。这是一种横向扩展的方式。
- 云计算以其动态扩展能力、高度的容错性能和可靠性,成为大数据处理的理想平台。
三、云计算类型与典型系统
按照服务类型,云计算可以分为三类
- 基础设施作为服务(Infrastructure as a Service,简称 laaS)
- 平台作为服务(Platform as a Service,简称PaaS)
- 软件作为服务(Software as a Service,简称SaaS)
云计算与Hadoop、Spark是什么关系?
- 一些大数据处理系统,可以安装到云计算平台的虚拟节点(或者虚拟集群上),以PaaS的形式提供对外服务。
- 在此,我们认为把物理节点通过虚拟化技术,对外提供laaS服务,可以称为云计算。
- 但是Hadoop或者Spark软件本身,不能称为云计算。他们是支持大数据处理的分布式软件系统,这些软件如果安装在物理机构成的集群上,那么就不能称为云计算了。
四、虚拟化技术与数据中心
云计算的核心技术是虚拟化技术
(1)服务器虚拟化
服务器虚拟化
,指的是把一台物理服务器虚拟成若干个独立的逻辑服务器,各个逻辑服务器拥有自己的CPU、内存、以及I/O设备。服务器虚拟化可以采用两种形式,分别是寄居虚拟化以及裸机虚拟化。
(2)存储虚拟化
- 存储虚拟化,其目的是把分散的,异构的存储设备,想办法映射成一个统一的、连续编址的逻辑存储空间。
- 存储虚拟化有三种不同的实现方式,分别是基于主机的存储虚拟化、基于存储设备的存储虚拟化、以及基于网络的存储虚拟化。
(3)网络虚拟化
网络虚拟化在不改变数据中心网络的物理拓扑和布线的情况下,可以虚拟出各层网络,并且实现互联,形成统一的交换架构。
网络虚拟化,包括核心层、接入层、以及虚拟机网络虚拟化三个层次。
(4)数据中心
- 数据中心首先由Google、Facebook、Amazon等大型互联网公司,为适应其业务发展的需要而建设。大型的数据中心,可以集中超过10万台服务器。
- 数据中心的主要特点和优势是,通过服务器虚拟化、存储虚拟化、网络虚拟化、应用虚拟化等技术,数据中心把各种硬件资源进行整合,对外提供服务,提高设备的利用率。
- 数据中心一般采取了冗余、容错、容灾的设计,提供不间断的服务,满足业务连续性的要求
五、主流产品及其特点
- VMWare
- Hyper-V
- KVM
- XEN
六、OpenStack开源虚拟化平台
Openstack是一款开源的虚拟化平台软件
- OpenStack Dashboard(Horizon),这是Openstack的Web用户管理界面
- Openstack Compute(Nova),Nova是虚拟机创建和管理模块
- Openstack Image Management(Glance),Glance是Openstack的虚拟机影像(Image)管理模块
- Openstack Object Store(Swift),Swift是对象存储管理器
- Openstack Block Storage(Cinder),Cinder是Openstack的磁盘块设备(Block Device)虚拟化软件模块
- Openstack Network(Quantum),Quantum提供了“网络连接作为服务”(Network Connectivity as a Service)的功能
- Openstack Identity Service(Keystone),Keystone模块负责管理用户,对用户进行身份认证(Authentication)和授权(Authorization)
七、主流厂商的云计算产品和服务
(1)Amazon
- Dynamo
- EC2
- S3
- SimpleDB
- RDS
- SQS
- Amazon EMR
(2)微软
- Windows Azure
- SQL Azure
- Azure App Fabric
(3)Google
- GFS
- MapReduce
- Big Table
- percolator
- Pregel
- …
(4)阿里云
弹性计算服务
数据存储服务
存储与CDN服务
大规模计算服务
MapReduce
Big Table
percolator
Pregel
…
(4)阿里云
- 弹性计算服务
- 数据存储服务
- 存储与CDN服务
- 大规模计算服务
11.云计算平台(数据科学概论)相关推荐
- 数据科学概论Learning Road Map
<数据科学概论>的学习路线图(Learning Road Map) 2022-03-25 Revision 本文档同时在如下网址提供: 数据科学概论学习路线图(Learning Roadm ...
- 数据科学概论课程设计
"数据科学概论"课程设计 覃雄派1, 陈跃国1, 杜小勇1, 王伟娟2 1. 中国人民大学信息学院,北京 100872 2. 中国人民大学出版社,北京 100872 摘要:数据时代 ...
- 05.数据的深度分析(数据挖掘、机器学习)--《数据科学概论》
前言:基于人大的<数据科学概论>第五章,数据的深度分析(数据挖掘.机器学习).主要是机器学习与数据挖掘.具体的算法.主流工具.特征选择的内容. 文章目录 一.机器学习与数据挖掘 (1)什么 ...
- 如何学习大数据,到底怎么学?数据科学概论与大数据学习误区在哪
数据科学家走在通往无所不知的路上,走到尽头才发现,自己一无所知." 最近不少网友向我咨询如何学习大数据技术?大数据怎么入门?怎么做大数据分析?数据科学需要学习那些技术?大数据的应用前景等等问 ...
- 大数据到底怎么学: 数据科学概论与大数据学习误区
数据科学家走在通往无所不知的路上,走到尽头才发现,自己一无所知."-Will Cukierski,Head of Competitions & Data Scientist at K ...
- 01.数据科学的简单介绍(概论)
前言:文章基于人大的<数据科学概论>,主要是总结第一章-数据科学概论 的一些重点内容.里面有些比较细的概念,有心的读者可以自己去查找资料. 文章目录 1.1数据科学的定义 (1)数据科学 ...
- 大数据入门课程_我根据数千个数据点对互联网上的每门数据科学入门课程进行了排名...
大数据入门课程 by David Venturi 大卫·文图里(David Venturi) A year ago, I dropped out of one of the best computer ...
- 大数据环境下数据科学的知识体系
数据科学概论 随着互联网的飞速发展,大数据(Big Data)的概念和技术成为当下流行的领域. 数据科学(Data Science)这一体系也随着大数据的崛起成为讨论热点.在各大招聘网站上," ...
- 谷歌机器学习主管:10年自学数据科学的3点心得体会
全文共3243字,预计学习时长10分钟 来源:Pexels 数据科学.机器学习和分析被认为是最热门的职业之一. 工业界.学术界和政府对熟练数据科学的从业人员的需求正在迅速增长.因此,目前的" ...
- 顶尖高手2019_2019顶尖的在线数据科学课程
顶尖高手2019 After over 80+ hours of watching course videos, doing quizzes and assignments, reading revi ...
最新文章
- Mac下添加Hibernate时报错Unsupported major.minor version
- 华硕服务器 u盘安装系统,华硕用u盘如何安装系统
- spring 源码分析01
- 九度OJ 1005 Graduate Admission
- pointer-events(禁止鼠标事件)
- JUC 基础内容概述
- 用Excel表格神速写代码
- 泽林主办前沿IT技术分享峰会隆重召开,深度探讨人工智能、大数据与物联网 的未来发展趋势
- 冰桶挑战,正在朝功利化和畸形化方向“扩散”
- 阿里云大学安全课程-阿里云首席安全研究员吴瀚清:WannaCry事件最“细思恐极“的一个事实是?...
- MSDC 4.3 接口规范(9)
- SAPGUI 里 F1 功能键的用法专题讲解试读版
- 基于c#winform的可视化打印标签模板设计器及Labview与C#调用模板Demo
- java怎么强制回收某个对象_4、如何强制垃圾回收一个对象?(java)
- 站住!做副业的亲,是时候跟你们做个了结了!
- 整理Android SD内存卡中的文件夹
- 条形码的打印,pdf打印条形码
- Android 分区
- web 体系结构_Web服务体系结构概述
- 两家人拉一根电信宽带线入户供日常使用,有问题吗?
热门文章
- 李开西老师 安全生产实战专家
- matlab轴向柱塞泵动力学仿真,基于ADAMS柔性模型的轴向柱塞泵动力学仿真
- 麻省理工18年春软件构造课程阅读10“抽象数据类型”
- 麻省理工18年春软件构造课程阅读04“代码评审”
- LTE下行物理层传输机制(9)-集中式和分布式资源映射
- intellij IDEA 设置背景颜色
- 广发99元旅游分期,来一场说走就走的旅行?
- [Ubuntu]安装微信/QQ/TIM的简便方法
- ios开发环境搭建教程
- linux用vi查找字符串替换,Linux中vi进行字符替换