大数据学习（1）-大数据概述
文章目录
- 目录
- 大数据产生背景
- 大数据概念
- 大数据影响
- 大数据应用
- 大数据关键技术
- 大数据产业
- 大数据，云计算，物联网关系
- 云计算
- 物联网
- 大数据，物联网，云计算三者之间联系
目录
大数据产生背景
- 三次信息化浪潮
根据IBM前首席执行官郭士纳福观点，每15年IT领域就会迎来一次重大的变革。
2.大数据产生的技术支撑
数据存储+数据处理+数据传输
- 存储设备容量的不断增大和价格的不断降低
- CPU处理能力的大幅度提升
- 网络带宽的不断增加
3.数据产生方式的变革
4.大数据发展的三个阶段
大数据概念
1.大数据：“4V”
volume(大量化)，Velocity(快速化) , Variety(数据多样化) , Value less(数据价值密度低)
大量化：大数据的大体现在数据量非常的多。
大数据摩尔定律：数据一致直以每年50%的增长速率进行增长，每两年涨一倍。
数据多样化：大数据是由结构化数据和非机构化数据组成，其中10%为结构化的数据存储在数据库中，剩下的90%的数据为非结构化的数据，包括文本，图像，语音，视频等。
快速化：处理速度极快，从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间比较短。1S定律。
数据价值密度低：大量数据中只有小部分的数据有极高的价值。
大数据影响
1.科学研究
实验->理论->计算->数据驱动
2.思维
- 全样非抽样：由于大数据技术发展，可以对全样本进行分析，而不是之前的抽样分析。
- 效率非精确：大数据时代由于是基于全样本分析，所以不存在从抽样到全样的误差放大问题，所以更加关注的是效率。
- 相关非因果：大数据时代关注的更多的是物体之间的关联性，而非因果性。
3.社会发展
- 大数据决策被用于大量的行业
4.就业方面
- 数据科学行业成为热门行业
5.人才培养
大数据应用
大数据无处不在，包括金融，汽车，零售，餐饮，电信，能源，政务，医疗，体育，娱乐等。
大数据关键技术
数据分布式存储 + 数据分布式处理
目前没有一款大数据产品可以解决所有的大数据问题，所以我们应该根据具体的问题选择合适的大数据产品。
大数据产业
大数据产业是指一切与支撑大数据组织管理和价值发现先关的企业经济活动
大数据，云计算，物联网关系
云计算，大数据，物联网三者相辅相成，共同促进。
云计算
1.概念
2.关键技术
3.云计算数据中心
4.云计算应用
物联网
1.概念
2.关键技术
3.物联网应用
4.物联网产业
大数据，物联网，云计算三者之间联系
大数据学习（1）-大数据概述相关推荐
- 大数据学习1——大数据概述
一.三次信息化浪潮的标志 第一次:PC 第二次:互联网 第三次:大数据.云计算.物联网 二.大数据关键技术 大数据特点:4V,数据量大(Volume).数据类型多(Variety).处理速度快(Vel ...
- （一）大数据学习引言——大数据概述
一.大数据的概念 概念 大数据是指:无法在现有的常规软件工具对其内容进行抓取.管理和处理的数据集合. 特征 Volume:数据量足够大 Variety:数据的种类多样 Velocity:数据的增长速度 ...
- 大数据学习系列----大数据项目的思考
2019独角兽企业重金招聘Python工程师标准>>> 最近做了一个大数据可视化的项目,目前阶段还仅仅对我们关心的指标做一些年度,季度,月度维度的汇总和展示,提供了简单的纵向横向的指 ...
- 大数据学习：大数据就业前景和就业方向
对于想要学习数据分析的同学来说,最重要的应该就是学完之后的就业吧.那么,大数据的就业前景和就业方向是怎样的呢? 大数据的就业领域是很宽广的,不管是科技领域,还是食品产业,零售业等等,都是需要大数据人才 ...
- 大数据学习笔记—大数据概论
大数据概论 一. 大数据的概念 二.大数据的特点(4V) 三. 大数据的应用场景 四.大数据的发展前景 五.大数据部门的业务流程/组织结构 一. 大数据的概念 大数据(big data),指无法在一定 ...
- 02云计算与大数据学习之大数据关键技术与应用
文章目录 1.应知应会 2.大数据总体框架 架构设计原则 总体架构特点 3.大数据存储技术 4.大数据处理技术 大数据处理模式 大数据处理Storm平台 5.大数据分析技术 大数据分析特点 大数据分析 ...
- 嘉明的云计算与大数据学习之大数据综合实验案例
1.实验环境 (1)Linux:Ubuntu 16.04. 虚拟机镜像下载链接:https://pan.baidu.com/s/1i_B-2rAfPM53jf7Besi0tw 提取码:WZJM (2) ...
- 大数据学习——基于大数据平台的数据仓库ETL基本思路
大数据平台数据仓库ETL基本思路 ETL工具 开源工具: Sqoop:Hadoop(hive)和关系型数据库之间传输数据的开源ETL工具. Beeline:hive客户端工具,基于SQLline的JD ...
- 02云计算与大数据学习之大数据关键技术与应用习题
一.选择题 以下是大数据技术架构的特点的是( ). A.集成性 B.架构先进性 C.实时性 D.以上都是 大数据分析的理论核心是( ). A.数据挖掘算法 B.聚类算法 C.统计分析算法 ...
- 大数据学习——sqoop导入数据
把数据从关系型数据库导入到hadoop 启动sqoop 导入表表数据到HDFS 下面的命令用于从MySQL数据库服务器中的emp表导入HDFS. sqoop import \ --connect jd ...
最新文章
- myeclipse文件目录自动定位（右编辑界面点击 左边Package Explorer导航自动定位）...
- About The FTP
- DM368开发 -- 制作ubifs文件系统
- exception javax.crypto.BadPaddingException: Given final block not properly padded
- SDWebImage原理（面试）
- “约见”面试官系列之常见面试题之第九十一篇之简述Vue的生命周期适用于哪些场景（建议收藏）
- Spring应用上下文 - - context
- 【语义分割】全卷积网络（Fully Convolutional Networks, FCN）详解
- OOP的几个不常用的方法
- MYSQL启动后报：ERROR! The server quit without updating PID file错误的问题解决
- 如何使用组策略提升Windows系统性能
- leetcode之奇偶链表
- 前端项目——当当图书网（javaScript）
- h5 游戏 游戏框架 Phaser
- 数位板和sai2安装使用
- 斐讯K2 V22.X.X.X 新版固件 刷机教程 (开telnet,安装SSH,adbyby,刷breed,华硕Padavan)
- 机器学习笔试面试整理
- 接口测试 如何编写接口测试用例
- c 语言 合并多个excel,C#操作Excel合并多个Excel文件
- 构建创新数字基础设施，中泰证券携手华为迈进数字化转型“快车道”