大数据基础知识(一):认识大数据
大数据的特点
具体来说,大数据具有4个基本特征:
一是数据体量巨大。百度资料表明,其新首页导航每天需要提供的数据超过1.5PB(1PB=1024TB),这些数据如果打印出来将超过5千亿张A4纸。有资料证实,到目前为止,人类生产的所有印刷材料的数据量仅为200PB。
二是数据类型多样。现在的数据类型不仅是文本形式,更多的是图片、视频、音频、地理位置信息等多类型的数据,个性化数据占绝对多数。
三是处理速度快。数据处理遵循“1秒定律”,可从各种类型的数据中快速获得高价值的信息。
四是价值密度低。以视频为例,一小时的视频,在不间断的监控过程中,可能有用的数据仅仅只有一两秒。
大数据解决什么问题
大数据解决对海量数据的存储、查询、分析计算等操作,主要应用在利用庞大的数据归类分析用户的偏好,利用用户的历史信息得出相应的统计账单等,将同行业的大公司的数据进行计算分析,可以挖掘出一些隐含价值。
学习大数据的基础
1)java SE,EE(SSM)
因为90%的大数据框架都是java写的
2)SQL
特别是sql语句中的查询语句,因为对数据库的操作最多的是查询
使用Hadoop作为大数据的分布式存储、计算和分析 sql的操作会重要
3)Linux
大数据的框架安装在Linux操作系统上
大数据框架安装功能来划分
海量数据存储:
HDFS、Hive(本质存储数据还是hdfs)、HBASE、ES
海量数据分析:
MapReduce、Spark、SQL
大数据基础知识(一):认识大数据相关推荐
- 大数据基础知识全集,大数据爱好者收藏必备
目前,市场上的大数据产品太多,但远远低于IAAS的标准化水平,各产品之间的差异还不十分清楚.当许多公司正在制造大数据平台或大数据解决方案时,他们往往不知道选择哪些产品来满足他们的需求 ...
- 大数据基础知识总结和大数据方面的核心技术
一.什么是大数据 一种规模大到在获取.存储 .管理.分析方面大大超出了传统数据库 软件工具能力范围的数据集合,具有海量的数据规模.快速的数据流转.多样的数据类型和价值密度低四大特征. 大数据需要特殊的 ...
- 大数据_03【大数据基础知识】
大数据_03 [大数据基础知识] 01 大数据概述 02 什么是大数据?(Big Data) 03 传统数据与大数据的对比 04 大数据的特点 4.1 传统数据与大数据处理服务器系统安装对比 4.2 ...
- 大数据_02【大数据基础知识】
大数据_02[大数据基础知识] 01 什么是服务器 02 服务器类型 03 存储磁盘(硬盘) 04 什么是RAID RAID特点 RAID种类 05 什么是集群 06 什么是计算机网络 07 什么是交 ...
- hawk大数据基础知识总结(1)
一.大数据概述 1.1大数据的概念 大数据一共具有三个特征:(1)全样而非抽样:(2)效率而非精确:(3)相关而非因果. (1)在过去由于缺乏获取全体样本的手段,人们发明了"随机调研数据&q ...
- 大数据基础知识(上)
大数据基础知识:技巧与概念 什么是大数据 数量多 流转快 种类多 大数据需要具备全部三个特征吗? 如何使用大数据 了解消费者大数据 了解企业大数据 了解科学研究大数据 大数据与数据科学 大数据与小数据 ...
- Big Data大数据基础知识
文章目录 大数据基础知识 什么是服务器? 服务器类型 什么是RAID 什么是集群? 为什么和谐号.复兴号会这么快? 大数据基础知识 内容概要 什么是服务器? 什么是RAID? 什么是集群? 什么是网络 ...
- 大数据基础知识科普(2)
上一篇<大数据基础知识科普(1)>为大家讲解了关于服务器,存储磁盘以及RAID的内容.这一篇将沿着之前的脚步,为大家带来更多学习大数据必须要掌握的知识! 目录 什么是集群? 什么是计算机网 ...
- 【大数据】大数据基础知识科普--数据分层
大数据基础知识科普–数据分层 (ETL.ODS.DW.DWD.DWM.DWS.DIM) 零.数据加载层:ETL(Extract-Transform-Load) 一.数据操作层:ODS(Operatio ...
- 大数据基础知识(下)
大数据基础知识:技巧与概念 大数据伦理 匿名方面的挑战 保密性方面的挑战 大数据的来源和结构 人类生成的数据 机器生成的数据 结构化数据 非结构化数据 存储大数据 分布式存储与云 云计算:IaaS.P ...
最新文章
- AndroidStudio使用第三方jar包报错(Error: duplicate files during packaging of APK)
- 一文应用 AOP | 最全选型考量 + 边剖析经典开源库边实践,美滋滋
- photoshop基础教程视频-贺叶铭-传智播客-笔记
- React+webpack热更新配置
- Kafka使用遇到的坑
- linux差分包升级流程,OTA 差分升级包的制作
- Mac修改pip为国内源
- java project整合spring和hibernate
- mysql 有数据更新数据_MySQL之——实现无数据插入,有数据更新
- yii2组件之多图上传插件FileInput的详细使用
- 三维可视化JavaScript组件接口
- mui html5 vue,MUI和VUE数据绑定 mui框架入门 (一)
- 查看nvidia gpu共享内存大小
- Unity之Image Raw Image
- 游戏音效中竟然有3D音效,这是什么鬼?
- C++ 打开文件夹对话框-OPENFILENAME
- 怎么分开设置目录和正文的页码
- 零经验产品经理,思维导图带你从入门到精通成为
- python人脸识别门禁_Python+Opencv+Tkinter指纹识别与人脸识别的门禁兼考勤(一)
- Python-----(3)数