大数据概念

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，大数据是当前很热的一个词。这几年来，云计算、继而大数据，成了整个社会的热点，大数据究竟是什么东西?有哪些相关技术?对普通人的生活会有怎样的影响?我们来一步步弄清这些问题。

在讲什么是大数据之前，我们首先需要厘清数据的基本概念。

数据

数据是可以获取和存储的信息，直观而言，表达某种客观事实的数值是最容易被人们识别的数据(因为那是“数”)。但实际上，人类的一切语言文字、图形图画、音像记录，所有感官可以察觉的事物，只要能被记下来，能够查询到，就都是数据(data)。

随着互联网快速发展、智能手机以及“可佩带”计算设备的出现，我们的行为、位置，甚至身体生理数据等每一点变化都成为了可被记录和分析的数据。这些新技术推动着大数据时代的来临，各行各业每天都在产生数量巨大的数据碎片，数据计量单位已从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB来衡量。

常见数据存储单位

1Byte = 8bit 1K(千)= 1024Byte 1MB（兆)=1024K 1G(吉) = 1024M

1T(太)=1024G 1P(拍)=1024T 1E(艾)=1024P 1Z(泽)=1024E

1Y (尧)=1024Z 1B(布)=1024Y 1N(诺)=1024B 1D(刀)=1024N

大数据

大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

数据分析的前提是有数据，数据存储的目的是支撑数据分析。究竟怎么去存储庞大的数据量，是开展数据分析的企业在当下面临的一个问题。传统的数据存储模式存储容量是有大小限制或者空间局限限制的，怎么去设计出一个可以支撑大量数据的存储方案是开展数据分析的首要前提。

当解决了海量数据的存储问题，接下来面临的海量数据的计算问题也是比较让人头疼，因为企业不仅追求可以计算，还会追求计算的速度、效率。

以目前互联网行业产生的数据量级别，要处理这些数据，就需要一个更好、更便捷的分析计算方式了。传统的显然力不从心了，而且效率也会非常低下。这正是传统数据分析领域面临的另一个挑战，如何让去分析、计算。这个时候就需要有新的技术去解决这些问题，这个技术就是大数据。

大数据主要解决的问题: 海量数据的存储和海量数据的计算问题

2021年大数据基础（一）：大数据概念相关推荐

【大数据】大数据基础知识科普--数据分层
大数据基础知识科普–数据分层 (ETL.ODS.DW.DWD.DWM.DWS.DIM) 零.数据加载层:ETL(Extract-Transform-Load) 一.数据操作层:ODS(Operatio ...
大数据基础——Hadoop大数据平台搭建
文章目录前言 Hadoop大数据平台搭建一．Hadoop原理和功能介绍二．Hadoop安装部署三．Hadoop常用操作总结前言分布式机器学习为什么需求大数据呢?随着海量用户数据的积累,单 ...
大数据基础--学好大数据必看的文章
大数据的项目流程数据生产数据采集数据存储需求分析数据预处理数据计算数据存储 8.结果展现大数据基础知识目录什么是服务器? 什么是RAID? 什么是集群? 什么是网络? 什么是交换机 ...
云计算与大数据基础之大数据
什么是大数据维基百科将大数据描述为: 大数据是现有数据库管理工具和传统数据处理应用很难处理的大型.复杂的数据集,大数据的挑战包括采集.存储.搜索.共享.传输.分析和可视化等. 大数据的"大 ...
大数据基础知识科普--数据分层（ETL、ODS、DW、DWD、DWM、DWS、DIM）
零.数据加载层:ETL(Extract-Transform-Load) 一.数据运营层:ODS(Operational Data Store) 二.数据仓库层:DW(Data Warehouse) 1 ...
数据可视化系列-04数据大屏基础知识
文章目录 5.销售数据看板 5.1 了解数据大屏基础知识 1.数据大屏简介: 2.数据大屏使用场景 3.数据大屏分类 5.2 数据大屏的设计: 1.大屏前端设计流程 2.数据大屏设计尺寸解析 3.可视 ...
大数据基础中台-数据仓库建设
一.数据模型架构原则数仓分层原则优秀可靠的数仓体系,往往需要清晰的数据分层结构,即要保证数据层的稳定又要屏蔽对下游的影响,并且要避免链路过长.那么问题来了,一直在讲数仓要分层,那数仓分几层最好? ...
神策数据丨7 大分析云案例，揭开 232 亿美元市场的秘密
数据分析已经成为企业必需的基本能力,业务的开展也越来越离不开分析工具的参与.随着技术的发展,分析工具也逐步演进为可覆盖多维度.多场景的平台化产品,比如分析云. 先进的分析云不仅能输出静态的数据洞察,还 ...
【大数据分析1】大数据基础理论
大数据分析-考点序号大分类分类掌握程度内容完成进度备注 1 大数据基础理论大数据分析基础领会大数据技术诞生技术背景大数据技术实际应用分布式处理技术概念数据分析和数据挖掘的概念 ...
什么是大数据究竟多大才算是大数据，大数据怎么学习？
大数据,什么是大数据呢?多大的数据叫大数据?红火一时的数据分析走向了我们,纷纷称不分析数据企业将长久不了,可是究竟什么样的数据才是大数据呢,什么样的数据才是最大的呢? 如果你没有接触过大数据,那么你就 ...

2021年大数据基础（一）：大数据概念

大数据概念

数据

常见数据存储单位

大数据

2021年大数据基础（一）：大数据概念相关推荐

最新文章

热门文章