大数据技术原理与应用——第一章 大数据概述
第一章 大数据概述
1.1 大数据时代
1.1.1 第三次信息化浪潮
| 信息化浪潮 | 发生时间 | 标志 | 解决的问题 | 代表企业 |
|---|---|---|---|---|
| 第一次浪潮 | 1980年前后 | 个人计算机 | 信息处理 | Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等 |
| 第二次浪潮 | 1995年前后 | 互联网 | 信息传输 | 雅虎、谷歌、阿里巴巴、百度、腾讯等 |
| 第三次浪潮 | 2010年前后 | 物联网、云计算和大数据 | 信息爆炸 | 亚马逊、谷歌、IBM、VMWare、Palantir、Hortonworks、Cloudera、阿里云等 |
1.1.2 信息科技为大数据时代提供技术支撑
信息科技需要解决信息存储、信息传输和信息处理3个核心问题，人类社会在信息科技领域的不断进步，为大数据时代的到来提供了技术支撑。
1.存储设备容量不断增加
数据被存储在磁盘、磁带、光盘、闪存等各种类型的存储介质中，随着科学技术的不断进步，存储设备的制造工艺不断升级，容量大幅增加，速度不断提升，价格却在不断下降。
闪存是一种新兴的半导体存储器，从1989年诞生第一款闪存产品开始，闪存技术不断获得新的突破，并逐渐在计算机存储产品市场中确立了自己的重要地位。闪存是一种非易失性存储器，即使发生断电也不会丢失数据；因此，可以作为永久性存储设备，它具有体积小、质量轻、能耗低、抗振性好等优良特性。
技术成熟曲线（重要）
2.CPU处理能力大幅提升
CPU处理速度的不断提升也是促使数据量不断增加的重要因素。性能不断提升的CPU，大大提高了处理数据的能力，使得我们可以更快地处理不断累积的海量数据。
3.网络带宽不断增加
移动通信宽带网络迅速发展，3G网络基本普及，4G网络覆盖范围不断加大，各种终端设备可以随时随地传输数据。大数据时代，信息传输不再遭遇网络发展初期的瓶颈和制约。
1.1.3 数据产生方式的变革促成大数据时代的来临
数据产生方式的变革，是促成大数据时代来临的重要因素。总体而言，人类社会的数据产生方式大致经历了3个阶段：运营式系统阶段、用户原创内容阶段和感知式系统阶段。
1.1.4 大数据的发展历程
大数据的发展历程总体上可以划分为3个重要阶段：萌芽期、成熟期和大规模应用期。
1.2 大数据的概念
大数据不仅仅是数据的“大量化”，而是包含“快速化”、“多样化”和“价值化”等多重属性。
大数据的四个特征：
“4V”：
1.数据量大（Volume）
2.数据类型繁多（Variety）
3.处理速度快（Velocity）
4.价值密度低（Value）
1.3 大数据的影响
1.大数据对科学研究的影响
图灵奖获得者、著名数据库专家Jim Gray博士观察并总结人类自古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式。
2.大数据对思维方式的影响
在思维方式方面，大数据完全颠覆了传统的思维方式：
－全样而非抽样
－效率而非精确
－相关而非因果
3.大数据对社会发展的影响
在社会发展方面，大数据决策逐渐成为一种新的决策方式，大数据应用有力促进了信息技术与各行业的深度融合，大数据开发大大推动了新技术和新应用的不断涌现。
4.大数据对就业市场的影响
在就业市场方面，大数据的兴起使得数据科学家成为热门职业。
5.大数据对人才培养的影响
在人才培养方面，大数据的兴起，将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制。
1.4 大数据的应用
大数据无处不在，包括金融、汽车、餐饮、电信、能源、体育和娱乐等在内的社会各行各业都已经融入了大数据的印迹。
1.5 大数据关键技术
所谓大数据技术，是指伴随着大数据的采集、存储、分析和应用的相关技术，是一系列使用非传统工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列数据处理和分析技术。
从数据分析全流程的角度，大数据技术主要包括数据采集与预处理、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容。
1.6 大数据计算模式
1.7大数据产业
1.8大数据与云计算、物联网
云计算
1.概念
云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。（云计算就是利用我们所有计算资源把它组合起来按需提供服务，用户按需付费使用资源，可以什么时候需要多少买多少）
2.关键技术
云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租户等
3.数据中心
云计算数据中心是一整套复杂的设施，包括刀片服务器、宽带网络连接、环境控制设备、监控设备以及各种安全装置等。
数据中心是云计算的重要载体，为云计算提供计算、存储、带宽等各种硬件资源，为各种平台和应用提供运行支撑环境。
全国各地推进数据中心建设。
4.应用
5.云计算产业
云计算产业作为战略性新兴产业，近些年得到了迅速发展，形成了成熟的产业链结构，产业涵盖硬件与设备制造、基础设施运营、软件与解决方案供应商、基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）、终端设备、云安全、云计算交付/咨询/认证等环节。
物联网
1.概念
物联网是物物相连的互联网，是互联网的延伸，它利用局域网络或互联网等通信技术把传感器、控制器、机器、物以及人员等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制。
2.关键技术
物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术等。
3.应用
物联网已经广泛应用于智能交通、智慧医疗、智能家居、环保监测、智能安防、智能物流、智能电网、智慧农业、智能工业等领域，对国民经济与社会发展起到了重要的推动作用。
4.产业
完整的物联网产业链主要包括核心感应器件提供商、感知层末端设备提供商、网络提供商、软件与行业解决方案提供商、系统集成商、运营及服务提供商等六大环节。
大数据与云计算、物联网的关系
云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者既有区别又有联系。
本章小结
大数据技术原理与应用——第一章 大数据概述相关推荐
- 大数据技术原理与应用 第一篇 大数据基础
目录 第一章 大数据概述 一. 大数据时代 1.1 三次信息化浪潮 1.2 信息科技发展 1.3 数据产生方式的变革 1.4 大数据的影响 二. 大数据的概念 2.1 大数据的特征 2.2 大数据关键 ...
- 大数据技术技能分析大赛——第一章 python数据分析概述
目标:掌握python,进行数据处理.统计分析.回归建模和数据可视化. 教材:<大数据分析务实初级教程(python)## 标题> 第一章 python数据分析概述 1.数据分析概述 1 ...
- 大数据技术原理与应用——第一章
大数据时代 三次信息化浪潮 信息化浪潮 时间 标志 解决的问题 第一次信息化浪潮 1980 个人计算机 信息处理 第二次信息化浪潮 1995 互联网 信息传输 第三次信息化浪潮 2010 大数据.云计 ...
- 大数据技术之Hive 第4章 DDL数据定义语言
第4章 DDL数据定义语言 4.1 创建数据库 CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LO ...
- 云计算原理与实践 第一章、云计算概述
一.初识云计算 1.云计算是一种新兴的共享基础架构的方法,可以将巨大的系统池连接在一起以提供各种IT服务. 2."云计算"一词最早被大范围的传播应该是在2006年.2006年8月, ...
- 大数据技术原理与应用课程建设经验分享
大数据技术原理与应用课程 建设经验分享 林子雨 厦门大学信息科学与技术学院, 福建 厦门 361005 摘要:大数据专业人才的培养是世界各国新一轮科技较量的基础,高等院校承担着大数据人才培养的重任 ...
- 大数据技术原理与应用—课后题答案（第一章）
大数据技术原理与应用_林子雨版_课后题答案(第一章) 1.试述信息技术发展史上的3次信息化浪潮及具体内容. 信息化浪潮 发生时间 标志 解决问题 ...
- 《大数据技术原理与应用（第3版）》期末复习——前两章练习题
第一章 大数据概述 1[单选题] 人类社会的数据产生方式大致经历了三个阶段,不包括: A.运营式系统阶段 B.用户原创内容阶段 C.互联网应用阶段 D.感知式系统阶段 答案:C 数据产生方式经历了三个 ...
- 《大数据技术原理与应用》（第七章 MapReduce 课后答案）
第七章 MapReduce 参考资料 1.林子雨_大数据技术原理与应用课后习题_NPU_阿夏的博客-CSDN博客 2.林子雨编著<大数据技术原理与应用(第3版)>教材官网_厦门大学数据库 ...
最新文章
- android读取excel数据库,Android 读取Excel数据并保存在本地数据库
- How to protect video content (Flash Media Server)
- FD.io/VPP — ACL
- Swift - 文本输入框（UITextField）的用法
- LeetCode MySQL 1077. 项目员工 III
- MySQL--自增列学习
- 计算机系统基础知识——进制转换(二进制、八进制、十进制、十六进制)
- Screaming Frog SEO Spider for Mac(网络爬虫软件)v16.0
- android listview去掉分割线
- 什么是PHP，如何快速运行PHP文件
- 软件如何实现屏幕共享？
- 中国企业云计算应用现状及需求调研报告
- 那根你想顺着去打人的网线是怎么制作的？
- Jmeter 接口造数
- 技术圈大佬，带你用技术赚到副业的第一桶金！
- [实用工具] 简单的数独计算器
- linux开发视角root手机并部署相关开发工具
- 尚硅谷maven视频教程笔记
- SQL--打折日期交叉问题
- uniapp下拉刷新避坑指南