传统数据处理介绍

数据来源:
1、企业内部管理系统 ,如员工考勤（打卡）记录。
2、客户管理系统（CRM）
数据特征：
1、数据增长速度比较缓慢，种类单一。
2、数据量为GB级别，数据量较小。
数据处理方式：
1、数据保存在数据库中。处理时以处理器为中心，应用程序到数据库中检索数据再进行计算（移动数据到程序端）
遇到的问题：
1、数据量越来越大、数据处理的速度越来越慢。
2、数据种类越来越多，出现很多数据库无法存储的数据，如音频、照片、视频等。

什么是大数据？（Big Data）

是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

是指一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

数据的存储单位
最小的基本单位是bit
1 Byte =8 bit
1 KB = 1,024 Bytes = 8192 bit

KB MB GB TB PB EB ZB YB BB NB DB 进率1024

传统数据与大数据的对比

大数据的特点

数据集主要特点

Volume（大量）  :  数据量巨大，从TB到PB级别。
Velocity（高速）: 数据量在持续增加(两位数的年增长率)。
Variety（多样） :     数据类型复杂，超过80%的数据是非结构化的。
Value（低密度高价值）:  低成本创造高价值。

其他特征
数据来自大量源，需要做相关性分析。
需要实时或者准实时的流式采集，有些应用90%写vs.10%读。
数据需要长时间存储，非热点数据也会被随机访问。

传统数据与大数据处理服务器系统安装对比

传统数据下服务器系统安装
在传统数据背景下，服务器系统安装中，系统硬盘、数据硬盘完全隔离。通常会将多块数据硬盘制作成LVM(逻辑卷)，即将多块物理硬盘通过软件技术“拼接”在一起形成一个大的硬盘（逻辑上是一个硬盘）。

大数据下服务器系统安装
在大数据背景下，服务器系统安装中，系统硬盘、数据硬盘完全隔离。数据硬盘必须独立挂载，每个硬盘挂载到系统的一个独立的目录下。

大数据概述：传统数据与大数据的区别相关推荐

企业数据应用传统商业智能对比大数据应用
传统商业智能对比大数据应用传统商业智能模式商业智能系统的主要功能大数据的变革 BI(商业智能) OLTP(联机事务处理) OLAP(联机分析处理) 操作数据库系统和数据仓库系统的区别为什么需要 ...
Kaggle经典数据分析项目：泰坦尼克号生存预测！1. 数据概述与可视化2. 数据预处理3. 模型训练4. 模型优化（调参）
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习 ,不错过 Datawhale干货作者:陈锴,中山大学,Datawhale成员最近有很多读者留言,希望 ...
npp夜光数据介绍 viirs_1.夜间灯光遥感数据概述
1.夜间灯光遥感数据概述: 夜间灯光遥感数据主要来自于由美国国防气象卫星搭载的可见光成像线性扫描业务系统(DMSP/OLS)和国家极轨卫星搭载的可见光近红外成像辐射仪(NPP/VIIRS)获取的夜间灯 ...
大数据学习笔记01：大数据概述
文章目录一.Zebra项目缺点二.大数据概述 1.大数据时代 (1)第三次信息化浪潮 (2)信息科技为大数据时代提供技术支撑 A. 存储设备容量不断增加 B. CPU处理能力大幅提升 C. 网络带 ...
大数据技术介绍：01大数据概述
大数据技术介绍:01大数据概述大数据技术框架: Hadoop生态系统(1) Hadoop生态系统(2) Hadoop构成:Flume(非结构化数据收集): Cloudera开源的日志收集系统用于非 ...
大数据(一) --大数据概述
大数据概述大数据兴起的背景 --第三次信息化浪潮技术支撑数据产生方式的变革. 什么是大数据? 大数据特性大数据的几个来源大数据带来思维方式的转变: 关键技术: 典型计算模式大数据兴起的背景 ...
大数据学习笔记（一）——大数据概述
第一章大数据概述 1.1 大数据时代 1.1.1 信息科技为大数据时代提供技术支持 ①存储设备容量不断増加--解决了信息存储的问题 ②CPU处理能力大幅提升--解决了信息处理的问题 ③网络带宽不断増 ...
大数据技术原理与应用——第一章大数据概述
第一章大数据概述 1.1 大数据时代 1.1.1 第三次信息化浪潮信息化浪潮发生时间标志解决的问题代表企业第一次浪潮 1980年前后个人计算机信息处理 Intel.AMD.IBM.苹 ...
【云计算与大数据概述】课堂笔记
文章目录第一章云计算与大数据基础 1.1 云计算基础 1.1.1 云计算简介 1.1.2 云计算的特点 1.1.3 云计算技术分类 1.2大数据基础 1.2.1 大数据简介 1.2.2 主要的大数 ...

大数据概述：传统数据与大数据的区别