大数据技术原理与应用——第一章
大数据时代
三次信息化浪潮
| 信息化浪潮 | 时间 | 标志 | 解决的问题 |
|---|---|---|---|
| 第一次信息化浪潮 | 1980 | 个人计算机 | 信息处理 |
| 第二次信息化浪潮 | 1995 | 互联网 | 信息传输 |
| 第三次信息化浪潮 | 2010 | 大数据、云计算、互联网 | 信息爆炸 |
大数据的技术支撑
1. 存储设备容量不断增加2. CPU处理能力大幅提升3. 网络带宽不断增加
数据产生方式
1. 运营式系统阶段2. 用户原创内容阶段3. 感知式系统阶段
大数据概念
数据量大
- “大数据摩尔定律”：人类产生的数据以每年50%的速度增长。
数据类型多
- 结构化数据占10%，非结构化数据占90%
处理速度快
- 秒级响应
价值密度低
- 价值密度远远低于传统关系型数据库
大数据的影响
四种科学研究范式
1. 实验科学
2. 理论科学
3. 计算科学：现提出理论，再收集数据，通过计算机验证
4. 数据密集型科学 ：现有大量数据，通过计算得出未知理论
大数据关键技术
1. 数据采集与预处理
2. 数据存储与管理
3. 数据处理与分析
4. 数据安全和隐私保护
大数据计算模式
| 计算模式 | 解决问题 |
|---|---|
| 批处理计算 | 针对大规模数据的批量处理 |
| 流计算 | 针对大数据的实时计算 |
| 图计算 | 针对大规模图结构数据（或网络的形式）的处理 |
| 查询分析计算 | 大规模数据的存储管理和查询分析（实时、准实时响应） |
大数据产业
1. IT基础设施层
2. 数据源层
3. 数据管理层
4. 数据分析层
5. 数据平台层
6. 数据应用层
大数据与云计算、物联网
三者相辅相成，既有联系又有区别
云计算
通过网络提供可伸缩的、廉价的分布式计算能力，以虚拟化技术为核心、以低成本为目的、动态可拓展的网络应用基础设施。
三种服务模式
* 基础设施即服务（IaaS）
* 平台即服务（PaaS）
* 软件即服务（SaaS）
关键技术
* 虚拟化
* 分布式存储
* 分布式计算
* 多租户
云计算数据中心
云计算应用
云计算产业……
物联网
四层
1. 感知层
2. 网络层
3. 处理层
4. 应用层
关键技术
1. 识别感知技术（二维码、RFID标签、传感器）
2. 网络与通信技术（NFC、蓝牙、RFID、互联网、移动网络、卫星通信网络）
3. 数据挖掘与融合技术
大数据、云计算、物联网关系
1.物联网是大数据的重要来源，为云计算技术提供应用空间
2.大数据技术为物联网数据分析提供支撑，大数据为云计算机提供用武之地
3.云计算为大数据提供了技术基础，为物联网提供了海量数据存储能力
大数据技术原理与应用——第一章相关推荐
- 大数据技术原理与应用——第一章 大数据概述
第一章 大数据概述 1.1 大数据时代 1.1.1 第三次信息化浪潮 信息化浪潮 发生时间 标志 解决的问题 代表企业 第一次浪潮 1980年前后 个人计算机 信息处理 Intel.AMD.IBM.苹 ...
- 大数据技术原理与应用 第一篇 大数据基础
目录 第一章 大数据概述 一. 大数据时代 1.1 三次信息化浪潮 1.2 信息科技发展 1.3 数据产生方式的变革 1.4 大数据的影响 二. 大数据的概念 2.1 大数据的特征 2.2 大数据关键 ...
- 大数据技术技能分析大赛——第一章 python数据分析概述
目标:掌握python,进行数据处理.统计分析.回归建模和数据可视化. 教材:<大数据分析务实初级教程(python)## 标题> 第一章 python数据分析概述 1.数据分析概述 1 ...
- 大数据技术原理与应用—课后题答案（第一章）
大数据技术原理与应用_林子雨版_课后题答案(第一章) 1.试述信息技术发展史上的3次信息化浪潮及具体内容. 信息化浪潮 发生时间 标志 解决问题 ...
- 《大数据技术原理与应用》（第七章 MapReduce 课后答案）
第七章 MapReduce 参考资料 1.林子雨_大数据技术原理与应用课后习题_NPU_阿夏的博客-CSDN博客 2.林子雨编著<大数据技术原理与应用(第3版)>教材官网_厦门大学数据库 ...
- 大数据技术原理与应用——大数据存储与管理
大数据技术原理与应用--大数据存储与管理 1.分布式文件系统 (1)计算机集群结构 集群的概念 集群是指将多台服务器整合在一起,每台服务器都实现相同的业务,做相同的事情. 每台服务器并不是缺一不可,它 ...
- [渝粤教育] 厦门大学 大数据技术原理与应用 参考 资料
教育 -大数据技术原理与应用-章节资料考试资料-厦门大学[] 第1章 大数据概述 单元测验 1.[单选题]第三次信息化浪潮的标志是: A.个人电脑的普及 B.互联网的普及 C.云计算.大数据.物联网技 ...
- 大数据技术原理与应用课后题（林子雨）
大数据技术原理与应用(林子雨) 第1章 大数据概述 1单选(2分) 第三次信息化浪潮的标志是: A.个人电脑的普及 B.云计算.大数据.物联网技术的普及 C.虚拟现实技术的普及 D.互联网的普及 正确 ...
- 林子雨试卷《大数据技术原理与应用》试题与答案
<大数据技术原理与应用>试题与答案 问答题(100分): (问答题,共13道题目,第1题4分,第2题6分,第3题10分,第4题10分,第5题16分,第6题6分,第7题12分,第8题6分,第 ...
最新文章
- stdarg.h(c标准库)
- c#图片base64去转义字符_C#实现字符串与图片的Base64编码转换操作示例|chu
- 洛谷 P2695 骑士的工作
- HTML5实现刮奖效果
- python学习 day6 (3月7日)
- oracle dbra,资源供给：IO子系统之二
- ajax 传递arraybuffer,jQuery $ .ajax或$ .load是否允许responseType arrayBuffer？
- C++笔记-使用std::funcional代替函数指针
- 项目管理：项目经理要具备的技能
- 大数据（流量表）任务问题清洗生成新分区表过程
- 计算机网络训练参考文献,计算机网络实用技术教学方法的研究
- c# 标准正太分布函数_数据处理中0-1规范化和标准化
- Log4cpp 配置文件格式说明
- adc0808温度换算公式_课程设计-ADC0808设计的调温报警器
- 软考信息系统项目管理师知识点总结（高项十大管理案例分析作文）
- 实用工具 - 小众软件
- win10删除账户文件夹(C:\Users\***)后，无法登录账户的解决方法
- 程序猿郭小喵过去的大学故事，致迷茫的你我
- AJAX设计模式之Lightbox---图片和网页外、连 flash、影片都可以显示在 Lightbox 弹出的方框里面
- 网络安全kali渗透学习 web渗透入门 ARL资产侦察灯塔系统搭建及使用