1大数据时代

1.1为什么如此受欢迎

2018年是新技术爆发年，大数据、区块链、人工智能等行业飞速发展，渗透到我们生活的方方面面。
2018年，新开设“数据科学与大数据技术”专业高校数量达250所。我记得也就是这一年我高三毕业，刚刚好赶上大数据的潮流，所以填报了大数据专业。我们学校是第三批申报院校，而我也是运气能够赶上大数据专业。

1.1.1 数据产生的方式改变

以前数据产生的方式是比较单一的，内容也比较少，我们甚至能够用1GB的硬盘大小存储，但是现在远远不够，我们的手机互联网每天高速互联，产生海量数据。

1.1.2 人类的活动也越来依赖数据

1、人类的日常生活已经与数据密不可分。我们浏览淘宝京东，刷着抖音，其背后就是数据与算法的展现形式，根据大数据分析，智能推荐算法相结合。
2、科学研究进入了“数据科学”时代。
3、各行各业使用大数据手段展开工作。

1.2何谓大数据

大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。这些话其实有点晦涩，说的直白一点通俗一点，大数据就是数据量很大的数据。

1.3大数据特征

大数据的特征经历了3V、4V到5V的演变。
2001年，高德纳分析员道格·莱尼在一份与其2001年的研究相关的演讲中指出，数据增长有三个方向的挑战和机遇，是为3V：数量（Volume）、速度（Velocity）、多样性（Variety）。
在莱尼的理论基础上，IBM提出大数据的4V特征得到了业界的广泛认可，即：数量（Volume）、多样性（Variety）、速度（Velocity）、真实性（Veracity）。
国际数据公司 IDC 也定义了一套 4V特征：数据类型繁多（ Variety）、处理速度快（ Velocity）、数据体量巨大（ Volume）、数据价值（ Value）。
阿姆斯特丹大学的 Yuri Demchenko 等人提出了大数据体系架构框架的 5V 特征：数据类型繁多（ Variety）、处理速度快（ Velocity）、数据体量巨大（ Volume）、数据价值（ Value）、真实性（ Veracity）。
这里我给出的是我所学习的4V+1C特征。

2大数据与云计算

2.1大数据与云计算的关系

简单来说：云计算是硬件资源的虚拟化，而大数据是海量数据的高效处理。虽然从这个解释来看也不是完全贴切，但是却可以帮助对这两个名字不太明白的人很快理解其区别。当然，如果解释更形象一点的话，云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化后在进行分配使用。

2.2云计算的定义

2.2.1长定义

云计算是一种商业计算模型。它将计算任务分布在大型计算机构成的资源池上，使得各种应用系统能够根据需要获取计算力，存储空间和信息服务。

2.2.2短定义

云计算是通过网络按需提供可动态伸缩的廉价计算服务。

2.3云计算的7个特点

2.3.1超大规模

超大规模。“云云计算管理系统[5]”具有相当的规模，Google云计算已经拥有100多万台服务器， Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。

2.3.2虚拟化

虚拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。

2.3.3高可靠性

(3) 高可靠性。“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。

2.3.4通用性

(4) 通用性。云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。

2.3.5高可扩展性

(5) 高可扩展性。“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。

2.3.6按需服务

(6) 按需服务。“云”是一个庞大的资源池，你按需购买;云可以象自来水，电，煤气那样计费。

2.3.7极其廉价

(7) 极其廉价。由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。

2.4云计算分类

按照服务类型。

2.4.1基础设施即服务 (IaaS)

基础设施即服务有时缩写为 IaaS，包含云 IT 的基本构建块，通常提供对联网功能、计算机（虚拟或专用硬件）以及数据存储空间的访问。基础设施即服务提供最高等级的灵活性和对 IT 资源的管理控制，其机制与现今众多 IT 部门和开发人员所熟悉的现有 IT 资源最为接近。

2.4.2台即服务 (PaaS)

平台即服务消除了组织对底层基础设施（一般是硬件和操作系统）的管理需要，让您可以将更多精力放在应用程序的部署和管理上面。这有助于提高效率，因为您不用操心资源购置、容量规划、软件维护、补丁安装或与应用程序运行有关的任何无差别的繁重工作。

2.4.3软件即服务 (SaaS)

软件即服务提供了一种完善的产品，其运行和管理皆由服务提供商负责。人们通常所说的软件即服务指的是终端用户应用程序。使用 SaaS 产品时，服务的维护和底层基础设施的管理都不用您操心，您只需要考虑怎样使用 SaaS 软件就可以了。SaaS 的常见应用是基于 Web 的电子邮件，在这种应用场景中，您可以收发电子邮件而不用管理电子邮件产品的功能添加，也不需要维护电子邮件程序运行所在的服务器和操作系统。

3云计算发展现状

3.1国外发展状况

3.1.1亚马逊云计算

亚马逊AWS（Amazon Web Services (AWS) ）是亚马逊提供的专业云计算服务，于2006年推出，以Web服务的形式向企业提供IT基础设施服务，通常称为云计算。其主要优势之一是能够以根据业务发展来扩展的较低可变成本来替代前期资本基础设施费用。
亚马逊网络服务所提供服务包括：亚马逊弹性计算网云（Amazon EC2）、亚马逊简单储存服务（Amazon S3）、亚马逊简单数据库（Amazon SimpleDB）、亚马逊简单队列服务（Amazon Simple Queue Service）以及Amazon CloudFront等。

3.1.2Google

3.1.3微软

3.2国内企业

4云计算实现机制

4.1SOA构建层

面向服务的架构（SOA）是一个组件模型，它将应用程序的不同功能单元（称为服务）进行拆分，并通过这些服务之间定义良好的接口和协议联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构件在各种各样的系统中的服务可以以一种统一和通用的方式进行交互。

4.2管理中间件层

中间件是介于应用系统和系统软件之间的一类软件，它使用系统软件所提供的基础服务（功能），衔接网络上应用系统的各个部分或不同的应用，能够达到资源共享、功能共享的目的。目前，它并没有很严格的定义，但是普遍接受IDC的定义：中间件是一种独立的系统软件服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源，中间件位于客户机服务器的操作系统之上，管理计算资源和网络通信。从这个意义上可以用一个等式来表示中间件：中间件=平台+通信，这也就限定了只有用于分布式系统中才能叫中间件，同时也把它与支撑软件和实用软件区分开来。

4.3云计算体系结构

4.4云计算的管理中间件层

4.5 IAAS实现机制

5云计算压倒性的成本优势

如果使用云计算的话，系统建设和管理成本有很大的区别。根据James Hamilton的数据，一个拥有5万个服务器的特大型数据中心与拥有1000个服务器中型数据中心相比，特大型数据中心的网络和存储成本只相当于中型数据中心的1/5到1/7，而每个管理员能够管理的服务器数量则扩大到7倍之多。因而，对于规模通常达到几十万乃至上百万台计算机的Amazon和Google云计算而言，其网络、存储和管理成本较之中型数据中心至少可以降低5～7倍。

电力和制冷成本也会有明显的差别。虽然我国的电价是全国统一的，但实际上不同地区的电力成本是不一样的。例如，美国爱达荷州的水电资源丰富，电价很便宜。而夏威夷州是岛屿，本地没电力资源，电力价格就比较贵。二者最多相差7倍。如表9-6所示。

主要由于电价有如此显著的差异，Google的数据中心一般选择在人烟稀少、气候寒冷、水电资源丰富的地区，这些地点的电价、散热成本、场地成本、人力成本等都远远低于人烟稠密的大都市。剩下的挑战是要专门铺设光纤到这些数据中心。不过，由于光纤密集波分复用技术（DWDM）的应用，单根光纤的传输容量已超过10Tbit/s，在地上开挖一条小沟埋设的光纤所能传输的信息容量几乎是无限的，远比将电力用高压输电线路引入城市要容易得多，而且没有衰减。拿Google的话来说，“传输光子比传输电子要容易得多”。这些数据中心采用了高度自动化的云计算软件来管理，需要的人员很少，而为了技术保密而拒绝外人进入参观，让人有一种神秘的感觉，故被人戏称为“信息时代的核电站”，

参考资料

因为本人能力有限，所以参考了很多资料。
《云计算》第三套
https://baike.baidu.com/item/%E4%B8%AD%E9%97%B4%E4%BB%B6/452240
https://baike.baidu.com/item/%E5%A4%A7%E6%95%B0%E6%8D%AE/1356941
https://aws.amazon.com/cn/types-of-cloud-computing/

人生若只如初见-云计算时代相关推荐

一代才女林徽因人生若只如初见
一代才女林徽因人生若只如初见才女林徽因人生若只如初见一代林徽音是幸福的,徐志摩爱了她一生,梁思成相伴了她一生,金岳霖等了她一辈子... 婚前,梁思成问林徽因:"有一句话,我只问这一次, ...
Java初识(人生若只如初见，何事秋风悲画扇)
Java初识(人生若只如初见,何事秋风悲画扇) Java是现在最流行的编程语言之一,常年霸占编程语言第一名,其自身拥有庞大且完善的生态系统,几乎可以实现你的所有需求.但是由于语言实现的功能太多,所以有 ...
木兰词-人生若只如初见-纳兰性德
木兰词作者: 纳兰性德拟古决绝词谏友. 人生若只如初见,何事秋风悲画扇.等闲变却故人心,却道故人心易变. 骊山语罢清宵半,泪雨霖铃终不怨.何如薄幸锦衣郎,比翼连枝当日愿. [赏析] 无疑,该阙词章 ...
人生若只如初见，当时只道是寻常
一. 谁念西风独自凉?萧萧黄叶闭疏窗,沉思往事立残阳.被酒莫惊春睡重,赌书消得泼茶香,当时只道是寻常. 二. 人生若只如初见,何事西风悲画扇?等闲变却故人心,却道故人心易变.骊山语罢清宵半,夜雨霖铃终 ...
人生若只如初见时[收藏］
人生若只如初见,所有往事都化为红尘一笑.只留下初见时的惊艳.倾情.忘却也许有过的背叛.伤怀.无奈和悲痛.这是何等美妙的人生境界. 时光匆匆,我们已经回不到过去,也许曾经一见倾心,但是再见之时,也许会是 ...
人生若只如初见 z-x-l [我的故事和写过的诗]
人生若只如初见 kimmking 一个人坐在窗边.杂乱的书桌,墨绿的箭竹,路边的人群,和煦的夕阳. 一切如旧,除了没有你. 时间像车轮一样悄然前行,日复一日. 我陷入了生活的轮回,除了思念你. 时常的 ...
人生若只如初见何事秋风悲画扇
人生若只如初见,何事秋风悲画扇. 等闲变却故人心,却道故人心易变. 骊山语罢清宵半,泪雨霖铃终不怨. 何如薄幸锦衣郎,比翼连枝当日愿.
人生若只如初见，何事秋风悲画扇。
1 血染江山的画 ,怎敌你眉间, 一点朱砂, 覆了天下也罢 ,始终不过, 一场繁华. 2 风过天地肃杀, 容华谢后, 君临天下, 登上九重宝塔, 看一夜, 流星飒沓. 3 回到那一刹那 ,岁月无声也让 ...
人生若只如初见-纳兰性德
木兰词作者: 纳兰性德拟古决绝词谏友. 人生若只如初见,何事秋风悲画扇.等闲变却故人心,却道故人心易变. 骊山语罢清宵半,泪雨霖铃终不怨.何如薄幸锦衣郎,比翼连枝当日愿. [赏析] 无疑,该阙词章 ...
人生若只如初见（二）
"有太多人喜欢这一句,人生若只如初见.可见我们的遗憾深重. 命运是最名贵的丝绢,怎样的巧夺天工,拿到手上看,总透出丝丝缕缕的光,那些错落,是与生俱行的原罪. 纳兰词,长于情也短于情,有时太过 ...

人生若只如初见-云计算时代