界快速虚拟化,数据的来源及其数量正以前所未有的速度增长。

伴随着云计算,大数据、物联网、人工智能等信息技术的快速发展和传统产业数字化的转型,数据量呈现几何级增长,根据市场研究资料显示,全球数据总量将从 2016 年的 16.1ZB 增长到 2025 年的 163ZB (约合 180 万亿 GB),十年内将有 10 倍的增长,复合增长率为 26%,如图 1 所示。

若以现有的蓝光光盘为计量标准,那么 40ZB 的数据全部存入蓝光光盘,所需要的光盘总重量将达到 424 艘尼米兹号航母的总重量。而这些数据中,约 80% 是非结构化或半结构化类型的数据,甚至更有一部分是不断变化的流数据。因此,数据的爆炸性增长态势,以及其数据构成特点使得人们进入了“大数据”时代。


图 1  2016-2025 年全球数据产量及预测

如今,大数据已经被赋予多重战略含义。

在资源的角度,数据被视为“未来的石油”,被作为战略性资产进行管理。

在国家治理角度,大数据被用来提升治理效率,重构治理模式,破解治理难题,它将掀起一场国家治理革命。

在经济增长角度,大数据是全球经济低迷环境下的产业亮点,是战略新兴产业的最活跃部分。

在国家安全角度,全球数据空间没有国界边疆,大数据能力成为大国之间博弈和较量的利器。

总之,国家竞争焦点将从资本、土地、人口、资源转向数据空间,全球竞争版图将分成新的两大阵营:数据强国与数据弱国。

从宏观上看,由于大数据革命的系统性影响和深远意义,主要大国快速做出战略响应,将大数据置于非常核心的位置,推出国家级创新战略计划。

美国 2012 年发布了《大数据研究和发展计划》,并成立“大数据高级指导小组”,2013 年又推出“数据一知识一行动”计划,2014 年进一步发布《大数据:把握机遇,维护价值》政策报告,启动“公开数据行动”,陆续公开 50 个门类的政府数据,鼓励商业部门进行开发和创新。

欧盟正在力推《数据价值链战略计划》;英国发布了《英国数据能力发展战略规划》;日本发布了《创建最尖端 IT 国家宣言》;韩国提出了“大数据中心战略”。中国多个省市发布了大数据发展战略,国家层面的《关于促进大数据发展的行动纲要》也于 2015 年 8 月 19 日正式通过。

从微观上看,大数据重塑了企业的发展战略和转型方向。

美国的企业以 GE 提出的“工业互联网”为代表,提出智能机器、智能生产系统、智能决策系统,将逐渐取代原有的生产体系,构成一个“以数据为核心”的智能化产业生态系统。

德国的企业以“工业 4.0”为代表,要通过信息物理系统(Cyber Physical System, CPS)把一切机器、物品、人、服务、建筑统统连接起来,形成一个高度整合的生产系统。

中国的企业以阿里巴巴提出的“DT 时代”(Data Technology)为代表,认为未来驱动发展的不再是石油、钢铁,而是数据。

这 3 种新的发展理念可谓异曲同工、如出一辙,共同宣告“数据驱动发展”成为时代主题。

与此同时,大数据也是促进国家治理变革的基础性力量。正如《大数据时代》的作者舍恩伯格在定义中所强调的:“大数据是人们在大规模数据的基础上可以做到的事情,而这些事情在小规模数据的基础上是无法完成的。”

在国家治理领域,如果你对大数据开发感兴趣,想系统学习大数据的话,可以加入大数据技术学习交流扣群:458数字345数字782获取学习资源,大数据为解决以往的“顽疾”和 “痛点”,提供了强大支撑,如建设阳光政府、责任政府、智慧政府;大数据使以往无法实现的环节变得简单、可操作,如精准医疗、个性化教育、社会监管、舆情监测预警。

大数据也使一些新的主题成为国家治理的重点,如维护数据主权、开放数据资产、保持在数字空间的国家竞争力等。

中国具备成为数据强国的优势。中国的数据量在 2013 年已达到 576EB,到 2020 年这个数字将会达到 8.06ZB,增长超过 12 倍。

从全球占比来看,中国成为数据强国的潜力极为突岀,2010 年中国数据占全球数据的比例为 10%,2013 年占比为 13%,2020 年占比将达到 18%,如图 2 所示。


图 2  2010-2020年中国数据的全球占比

届时,中国的数据规模将超过美国位居世界第一。中国成为数据大国并不奇怪,因为中国是人口大国、制造业大国、互联网大国、物联网大国,这都是最活跃的数据生产主体,未来几年,中国成为数据大国也是逻辑上的必然结果。

大数据本身是一个抽象的概念。从一般意义上讲,大数据是指无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。

目前,业界对大数据还没有一个统一的定义,但是大家普遍认为,大数据具备 Volume、Velocity、Variety 和 Value 四个特征,简称“4V”,即数据体量巨大、数据速度快、数据类型繁多和数据价值密度低,如图 1 所示。下面分别对每个特征作简要描述。


图 1  大数据特征

1)Volume:表示大数据的数据体量巨大。

数据集合的规模不断扩大,已经从 GB 级增加到 TB 级再增加到 PB 级,近年来,数据量甚至开始以 EB 和 ZB 来计数。

例如,一个中型城市的视频监控信息一天就能达到几十 TB 的数据量。百度首页导航每天需要提供的数据超过 1-5PB,如果将这些数据打印出来,会超过 5000 亿张 A4 纸。图 2 展示了每分钟互联网产生的各类数据的量。


图 2  互联网每分钟产生的数据

2)Velocity:表示大数据的数据产生、处理和分析的速度在持续加快。

加速的原因是数据创建的实时性特点,以及将流数据结合到业务流程和决策过程中的需求。数据处理速度快,处理模式已经开始从批处理转向流处理。

业界对大数据的处理能力有一个称谓——“ 1 秒定律”,也就是说,可以从各种类型的数据中快速获得高价值的信息。大数据的快速处理能力充分体现出它与传统的数据处理技术的本质区别。

3)Variety:表示大数据的数据类型繁多。

传统 IT 产业产生和处理的数据类型较为单一,大部分是结构化数据。随着传感器、智能设备、社交网络、物联网、移动计算、在线广告等新的渠道和技术不断涌现,产生的数据类型无以计数。

现在的数据类型不再只是格式化数据,更多的是半结构化或者非结构化数据,如 XML、邮件、博客、即时消息、视频、照片、点击流、 日志文件等。企业需要整合、存储和分析来自复杂的传统和非传统信息源的数据,包括企业内部和外部的数据。

4)Value:表示大数据的数据价值密度低。

大数据由于体量不断加大,单位数据的价值密 度在不断降低,然而数据的整体价值在提高。以监控视频为例,在一小时的视频中,有用的数据可能仅仅只有一两秒,但是却会非常重要。现在许多专家已经将大数据等同于黄金和石油,这表示大数据当中蕴含了无限的商业价值。

根据中商产业研究院发布的《2018-2023 年中国大数据产业市场前景及投资机会研究报告》显示,2017 年中国大数据产业规模达到 4700 亿元,同比增长 30%。随着大数据在各行业的融合应用不断深化,预计 2018 年中国大数据市场产值将突破 6000 亿元达到 6200 亿元。

通过对大数据进行处理,找出其中潜在的商业价值,将会产生巨大的商业利润。

大数据时代是什么意思?大数据是什么?相关推荐

  1. 大数据时代分析师 Splunk助大数据落地

    文章讲的是大数据时代分析师 Splunk助大数据落地,近日,Splunk公司在北京举办了一场"大数据如何落地研讨会",为大数据技术在中国企业的落地带来了诸多的前沿观点.可以参考的实 ...

  2. 5000字 大数据时代读书笔记_大数据时代读书笔记

    大数据时代读书笔记 [篇一:大数据时代读书笔记] 大数据时代 -- 读书笔记 一.引论 1. 大数据时代的三个转变: 1. 可以分析更多的数据,处理和某个现象相关的所有数据,而不是 随机采样 2. 不 ...

  3. 大数据云图:如何在大数据时代寻找下一个大机遇 - 电子书下载(高清版PDF格式+EPUB格式)...

    大数据云图_如何在大数据时代寻找下一个大机遇-大卫•芬雷布 在线阅读                   百度网盘下载(8544) 书名:大数据云图:如何在大数据时代寻找下一个大机遇 作者:大卫•芬雷 ...

  4. 四说大数据时代“神话”:从大数据到深数据\n

    作为国内最大的电商平台之一,苏宁每天要处理数量巨大的数据.为了更快速高效地处理这些数据,苏宁调度平台采取了哪些措施呢? 本文是苏宁大数据离线任务开发调度平台实践系列文章之上篇,详解苏宁的任务调度模块. ...

  5. 四说大数据时代“神话”:从大数据到深数据

    在机器学习方面始终有个基础性的误会,即更大的数据会形成更快的学习效果.殊不知,更大的数据并非意味着能发现更深刻的信息.事实上,与数据的规模相较,数据的质量.价值和多样性更最该关注,即数据的" ...

  6. 5000字 大数据时代读书笔记_大数据时代 读书笔记

    大数据时代 维克托·迈尔·舍恩伯格 首先作者抛出了大数据时代处理数据理念上的三大转变:  要全体不要抽样. 首先,要分析与某事物相关的所有数据,而不是依 靠分析少量的数据样本.全数据模式,样本 = ...

  7. 大数据时代投资者应如何利用数据资源盈利

    数据资源的有效开发利用将逐渐的发展成为一种产业,大数据开发的潜力很大.大数据是一种数据资源,具有资源性,经过加工之后可以属于加工业,同时其具有服务性.如今的数据是以新产业.新技术的形态存在的,是新经济 ...

  8. 解铃还须系铃人—大数据时代的安全交给大数据

    从2008年大数据的概念提出之后,经过近几年的发展大数据已经不再是一个被炒作的概念.金融.物流.能源等行业对大数据的拥抱愈发紧密.不过随着大数据的普及,各种组织机构的网络安全,也受到了前所未有的威胁挑 ...

  9. 重读《大数据时代》:关于大数据的再认识

    <大数据时代:生活.工作与思维的大变革>是被誉为"大数据时代的预言家"的牛津大学教授维克托.迈克-舍恩伯格所写的一本经典大数据书籍,2013年笔者首读此书,豁然开朗,其 ...

  10. 我们正处在大数据时代,浅谈大数据

    大数据简单来说就是短时间快速的产生大量的多种多样的有价值的数据,但是这些数据的价值密度不是很高. 进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的 ...

最新文章

  1. java delete 和deleteOnExit 的区别
  2. iptables防火墙的基本配置
  3. adf4351_在ADF实体PK属性中使用MySQL自动增量PK列
  4. 用Unity3D实现简单的井字棋小游戏
  5. canvas合成图片 圣诞节新技能戴帽
  6. 太赞了!刷题PDF终于在GitHub上开源了!覆盖字节、蚂蚁、腾讯等多家大厂真题...
  7. Stateflow子状态激活条件下迁移有效
  8. 判断二叉树是否平衡二叉树
  9. ASP.NET 页面验证cookie
  10. C++ 内存空间初探
  11. POJ-1195-Mobile phones
  12. ssm学生助学贷款系统毕业设计(附源码、运行环境)
  13. 2021数学建模国赛b题思路总结
  14. 安装已经下载好的whl文件
  15. PHP叫号系统,排队叫号系统
  16. 琴生不等式及其加权形式的证明
  17. 谷歌想要返华,但却陷入了尴尬境地
  18. Windows Installer和即点即用版本的Office程序不能并行的问题
  19. win10系统更新服务器不可用,Win10专业版系统 RPC服务器不可用怎么办
  20. 老公给同办公室的女同事发红包,正常吗?

热门文章

  1. fagor后处理格式_输出格式
  2. 便签纸文字提示ui布局css3
  3. linux磁盘配额测试,Linux磁盘配额测试过程完全攻略
  4. Linux之磁盘配额
  5. 00后php团队,00后学霸团队自制视频脱口秀走红:不想做网红
  6. win7进去提醒未能连接一个服务器,win7系统提示“未能连接一个windows服务”这个情况如何解决...
  7. PhpStorm Unhandled exceptions错误解决
  8. Jboss RichFaces + Skin的简单运用示例代码
  9. Json数据的对比工具,对比库(含js在线对比工具,.net 的jsondiffer包)
  10. 2022山东省安全员C证操作证考试题及答案