大数据——何谓“大”

　　“互联网”“大数据”“人工智能”你可能在无数篇文献中都看到过这三个词，这三个词的顺序其实是不能颠倒的。互联网、大数据、人工智能的关系：互联网产生了大量数据，使用大数据技术进行存储+计算，并对人工智能提供支撑。

　　在互联网时代，我们都能上网，而只要上网就会产生大量数据。

　　你在逛京东的时候，浏览某一个商品，你的这些行为数据会被记录下来，甚至你把鼠标悬浮在某一个分类上，并没有点击，它就会记录数据。

　　那这么庞大的数据要怎么存，怎么去计算呢？

　　当然要把这些数据存储下来。但如果你只是单独存储下来，不去对这些数据进行下一步的分析计算，那这些数据就是死数据，不能产生什么价值。所以要让这些数据产生更大的价值，就要对它们进行计算。

　　所以大数据解决的两个问题——

　　海量数据的存储

　　海量数据的计算

　　同时，大数据也为人工智能提供支撑。因为人工智能里面其实有很多算法，算法可以简单来理解为公式。但这个公式真的准确么？还是得靠大量的数据来进行校验。

　　大数据，从表面上看，就是说大的数据量，即海量数据。那你想一想，仅仅是数据量大就是大数据吗？多大算大呢，有一个标准么？

　　数据，其实是有一个量级的，如上图，看一下数据的度量模型。它的度量单位，MB、GB、TB……可能你在平时的生活中有所接触，现在 1TB、2TB 的移动硬盘也非常普遍了。其实到现在为止，我们全球范围内全人类的整个数据量也就才到 ZB 级。说起 MB，大家可能还有一些体会，到 GB 可能也有一些概念，一个电影它可能就是几十M、几百M，或者几G，但是你到 PB 可能就没有感觉了。

　　如何去衡量更大单位的容量大小呢？

　　1PB 相当于 50% 的全美学术研究图书馆藏书信息内容

　　5EB 相当于至今全世界人类所讲过的所有话语

　　1ZB 如同全世界海滩上的沙子数量总和

　　1YB 相当于 7000 位人类体内的微细胞总和

　　2021 年，全球数据总量达到了40ZB

　　那么你肯定想问，到哪个量级才算是“大数据”呢？

　　有的人说达到 PB 级的数据才算是“大数据”。但实际上，普遍说来，多大的数据量才算大数据并没有一个明确的标准。

　　很多公司处理的数据量在 TB 级，也就是没达到 PB 级，但是它也要上大数据平台，应用大数据技术。因为传统的技术已经搞不定了，只有用大数据平台来解决业务问题。

　　大数据（BIG DATA），指无法在一定时间范围内用常规软件工具（比如 MySQL）进行捕捉、管理和处理的数据集合，是需要新处理模式才能处理的海量、高增长率和多样化的信息资产。

　　那常规软件又指什么呢？

　　学过计算机的同学可能接触过 MySQL ，其实它就属于常规软件。MySQL 就是一种关系型数据库，而关系型数据库说白了是一种二维表格模型，类似于 Excel 是有明确的行和列的二维表格模型。这样看来， IT 时代的很多软件，当我们数据量大了以后，都不太好存，也不太好算了，甚至根本存不了或算不了了。

　　像这样的数据场景，我们就称之为大数据；解决这样数据场景的技术，我们就称之为大数据技术。

　　提到大数据技术就不得不谈Hadoop，hadoop是大数据技术的基石和开山之作，是每个想要从事大数据方面工作的人员必须精通的一门技术。

大数据——何谓“大”相关推荐

【大数据】大数据思维的十大核心原理
感谢博主,转自:https://blog.csdn.net/supermapsupport/article/details/78741774 一.数据核心原理从"流程"核心转变为 ...
《深入理解大数据：大数据处理与编程实践》一一3.3　HDFS文件存储组织与读写...
本节书摘来自华章计算机<深入理解大数据:大数据处理与编程实践>一书中的第3章,第3.3节,作者主编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区&quo ...
大数据职业理解_到底什么是大数据，大数据职业的具体工作内容是什么？
综合网络解释加上自己的理解给出了大数据的定义. 大数据就是数据规模达到海量级.极快的速度流转.数据类型和来源多种多样.价值密度低而且能够反映事物真实性的数据就是大数据. 大数据的工作内容包括以下几个方 ...
大数据可视化大屏设计经验，教给你！
前言大数据产业正在用一个超乎我们想象的速度蓬勃发展,大数据时代的来临,越来越多的公司开始意识到数据资源的管理和运用,大数据可视化大屏展示被更多的企业青睐,身为UI设计师的我们,也要紧跟时代的 ...
大数据可视化大屏图表设计经验，教给你
前言自从跟大家分享第一篇<大数据可视化大屏设计经验,教给你!>,很多小伙伴都会问我一些相关的问题,看了小伙伴给我发的视觉稿,整体都还不错,但是发现图表的设计都有一些问题,大家可能对 ...
品《阿里巴巴大数据实践-大数据之路》一书（上）
7月有人推荐阿里巴巴刚出的这本书<阿里巴巴大数据实践-大数据之路>,到亚马逊一看才是预售状态,拍下直到8月才拿到. 翻看目录一看,欢喜的很,正好出差两天就带在身边,由于在机场滞留超过12个 ...
什么是大数据？大数据学习路线和就业方向
大数据又称巨量资料,就是数据量大.来源广.种类繁多(日志.视频.音频),大到PB级别,现阶段的框架就是为了解决PB级别的数据. 专业的来讲:大数据(big data,mega data),或称巨量资料 ...
UCLA教授朱松纯：走向通用人工智能，从大数据到大任务
导读:本文内容整理自美国加州大学洛杉矶分校的朱松纯教授在 2019 北京智源大会上的主题演讲<走向通用人工智能:从大数据到大任务>. 作者:朱松纯来源:AI科技大本营(ID:rgznai ...
朱松纯：走向通用人工智能——从大数据到大任务
出品 | AI科技大本营(ID:rgznai100) 10 月 31 日,由北京智源人工智能研究院主办的 2019 北京智源大会在国家会议中心开幕,本次大会围绕人工智能基础研究现状及面临的机遇和挑战. ...

大数据——何谓“大”

大数据——何谓“大”相关推荐

最新文章

热门文章