大数据技术原理与应用----大数据概述
一、发展背景
1、大数据时代
(1)时代背景
大数据、物联网、云计算促成的第三次信息化浪潮。
(2)技术支撑
①存储(存储设备容量不断增加);
②计算(CPU处理能力大幅提升);
③网络(网络带宽不断增加);
(3)大数据发展历程
二、大数据的概念和影响
1、大数据的经典特征
(1)4V
①数据量大;
②数据类型繁多;
③处理速度快;
④价值密度低;
2、大数据理论基础
(1)常用存储单位的换算关系
(2) 科学研究的四种范式
①第一种范式:实验科学;
②第二种范式:理论科学;
③第三种范式:计算科学;
④第四种范式:数据密集型科学;
(3)大数据对思维方式的影响
①全样而非抽样;
②效率而非精确;
③相关而非因果;
(4)大数据的应用
基本上各个行业都融入了大数据。
三、大数据技术及其原理概述
1、大数据关键技术
(1)大数据技术层面及其应用
(2)数据存储管理和数据处理与分析的两大核心技术
①分布式存储(解决海量数据存储问题,集群分布式处理);
②分布式处理(解决海量数据的处理问题,集群分布式处理);
2、大数据计算模式
(1)技术代表以及模式简述
大数据技术以谷歌公司技术为代表:
(2)批处理计算
MapReduce是批处理计算模式的典型代表,Spark也是批处理但是它解决了MapReduce的缺点,实时性更好,同时它也可以做迭代计算。
(3)流计算
流数据需要实时处理,给出实时响应,否则分析结果就会失去商业价值。
(4)大数据计算模式概述图
3、云计算
(1)云计算解决的两大核心问题
①分布式存储;
②分布式处理;
(2)云计算的优势
企业不需要自建IT基础设施,可以直接租用云端资源。
(3)云计算的三种模式
①公有云(面向全部用户);
②私有云(面向企业内部);
③混合云(部分自己用,部分外界用);
模式图:
(4)云服务的三种类型
①SaaS(面向用户);
②PaaS(面向应用开发者);
③IaaS(面向网络架构师);
类型图:
(5)云计算的关键技术
①虚拟化;
②分布式存储;
③分布式计算;
④多租户;
4、物联网
(1)物联网的概念定义
物物相连,互联网的延伸:
大数据技术原理与应用----大数据概述相关推荐
- 大数据技术原理与应用——大数据存储与管理
大数据技术原理与应用--大数据存储与管理 1.分布式文件系统 (1)计算机集群结构 集群的概念 集群是指将多台服务器整合在一起,每台服务器都实现相同的业务,做相同的事情. 每台服务器并不是缺一不可,它 ...
- 大数据技术原理与应用-大数据概述
文章目录 1 大数据时代 1.1 第三次信息化浪潮 1.2 信息科技为大数据时代提供技术支撑 1.2.1 存储设备容量不断增加 1.2.2 CPU处理能力大幅提升 1.2.3 网络带宽不断增加 1.3 ...
- 大数据技术原理与应用----大数据处理架构Hadoop
一.Hadoop简介及其应用现状 1.Hadoop简介 Hadoop(是大数据技术的集合体,一整套解决方案的统称)是由Java开发的,支持多种编程语言. 2.Hadoop的理论基础 (1)Hadoop ...
- [渝粤教育] 厦门大学 大数据技术原理与应用 参考 资料
教育 -大数据技术原理与应用-章节资料考试资料-厦门大学[] 第1章 大数据概述 单元测验 1.[单选题]第三次信息化浪潮的标志是: A.个人电脑的普及 B.互联网的普及 C.云计算.大数据.物联网技 ...
- 大数据技术原理与应用课后题(林子雨)
大数据技术原理与应用(林子雨) 第1章 大数据概述 1单选(2分) 第三次信息化浪潮的标志是: A.个人电脑的普及 B.云计算.大数据.物联网技术的普及 C.虚拟现实技术的普及 D.互联网的普及 正确 ...
- 关于大数据技术原理与应用的学习(6)
学习目标: 大数据技术原理与应用 学习内容: 6云数据库 6.1概述 6.2产品 6.3UMP系统 6.4Amazon云数据库 6.5微软云数据库SQL Azure 学习时间: 2022/03/31 ...
- 大数据技术原理与应用 第一篇 大数据基础
目录 第一章 大数据概述 一. 大数据时代 1.1 三次信息化浪潮 1.2 信息科技发展 1.3 数据产生方式的变革 1.4 大数据的影响 二. 大数据的概念 2.1 大数据的特征 2.2 大数据关键 ...
- 大数据技术原理与应用—课后题答案(第一章)
大数据技术原理与应用_林子雨版_课后题答案(第一章) 1.试述信息技术发展史上的3次信息化浪潮及具体内容. 信息化浪潮 发生时间 标志 解决问题 ...
- 《大数据技术原理与应用》(第八章Hadoop 课后答案)
第八章 Hadoop再探讨 参考资料 1.林子雨_大数据技术原理与应用课后习题_NPU_阿夏的博客-CSDN博客 2.林子雨编著<大数据技术原理与应用(第3版)>教材官网_厦门大学数据库实 ...
- 林子雨试卷《大数据技术原理与应用》试题与答案
<大数据技术原理与应用>试题与答案 问答题(100分): (问答题,共13道题目,第1题4分,第2题6分,第3题10分,第4题10分,第5题16分,第6题6分,第7题12分,第8题6分,第 ...
最新文章
- Java从小白到入门,Day7,JAVAOO-继承
- 杭电1789贪心java实现
- 新版微信小程序即将上线 新增微信支付功能
- CobarClient源码分析
- MyBatis-学习笔记02【02.Mybatis入门案例】
- 调用微信和支付宝调三方接口扫描二维码?
- Linux学习进阶!!
- 国内最缺的架构实践,DDD领域驱动设计排第一!
- 移动端页面rem+media写法过程
- mysqldump导出数据库视图_mysql中如何用mysqldump批量如何导出视图view啊?
- spring-test跟junit结合单元测试获取ApplicationContext实例的方法
- python openoffice_使用Python创建openoffice .odt文档
- 关于Android平台上面is not valid; is your activity running?
- 2022年 javaJDK下载安装步骤及环境变量配置【超详细】
- html空格语言,HTML中如何键入空格
- iOS 开发的一些奇巧淫技
- shell编程之iptables
- 删除MAC系统自带的ABC输入法[亲测]
- Map根据Key值进行排序(升序加降序)
- 金蝶Kis旗舰版不能反过账?
热门文章
- Linux目录--proc详解
- 【Unity3D基础2-2】认识Unity3D引擎
- 在电脑上怎么做报表新手_电脑excel表格数据图-初学者在电脑上如何制作电子表格...
- 实用软件工程(张海藩)复习笔记
- 5101是多大的电阻_贴片电阻1206-5101(5.1K) 1206
- php 定时微博代码,8款主流定时微博工具
- java Socket编程
- 【C语言】之实现俄罗斯方块游戏
- 背包问题1:【SSL】1059.01背包问题——2021-03-10更
- 4种常用扒站工具(webzip、ha_TeleportPro、Offline Explorer、wget)