大数据入门(一)-大数据概念和特点(1)

2024-06-13 18:38:56

一、大数据概念

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据主要解决海量数据的存储和海量数据的分析计算问题

二、大数据特点

大数据的特点可以用”4V”来描述：

1、Volume(大量)
首先需对数据的存储单位有个基本概念：
按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
1Byte = 8bit 1K = 1024Byte 1MB = 1024K
1G = 1024M 1T = 1024G 1P = 1024T
除bit外其他的单位间都是以二的十次方倍进行换算。
截至目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类总共说过的话的数据量大约是5EB。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。
2、Velocity(高速)
这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。
3、Variety(多样)
这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数据库/文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。
4.Value(低价值密度)
价值密度的高低与数据总量的大小成反比。如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题。

大数据入门(一)-大数据概念和特点(1)相关推荐

华为云大数据存储的冗余方式是三副本_大数据入门：HDFS数据副本存放策略
大数据处理当中,数据储存始终是一个重要的环节,从现阶段的市场现状来说,以Hadoop为首的大数据技术框架,仍然占据主流地位,而Hadoop的HDFS,在数据存储方面,仍然得到重用.今天的大数据入门分享 ...
史上最快! 10小时大数据入门(一)-大数据概述
第1章大数据概述计划安排
字节大数据手册火了 ! 离线数据/实时数据/数据仓库ETL/实时交易系统/啥都有 !...
最近有幸在一位字节跳动大数据高级工程师手里扒到了这份学习笔记,将部分知识章节发布到了在B站上竟然获得了5000+点赞! 本来想将文件上传到github上,但由于文件太大有的都无法显示所以直接整理成多个 ...
大数据入门概念及应用场景
参考内容: [知乎]深入浅出大数据:到底什么是Hadoop? [知乎]五万字 | Hive知识体系保姆级教程大数据入门概念及应用场景一.入门概念 1.1 大数据的4V 1.2 大数据处理的最佳工 ...
大数据入门 - 基础概念
文章目录 1. 发展历史 2. 分布式系统可靠性可扩展性可维护性 4. 单机引擎的问题事务写入和存储数据的序列化 3. GFS(Google File System) master 的快速 ...
sql入门及大数据概念
一.sql基础 1.空值 sum(NULL) -- NULL count(NULL) -- 0 count(distinct NULL) -- 0 --举例: select no,count(cnt) ...
【大数据入门核心技术-基本概念】（一）大数据相关基本概念
目录 1.大数据的4v特征 2.大数据的影响 3.大数据的两大核心技术
大数据入门--大数据概念,大数据是什么?
大数据是什么? 大数据(Big Data) :指无法在一定的时间范围内,用常规软件工具进行捕捉,管理和处理的数据集合.是需要新的处理模式,才能具有更强的决策力,洞察发现力和流程优化能力的海量,高增 ...
女友问粉丝过万如何庆祝，我发万字长文《保姆级大数据入门篇》感恩粉丝们支持，学姐|学妹|学弟|小白看了就懂
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录粉丝破万了新星计划申 ...

最新文章

热门文章