个人对大数据概念的理解（知识结构）

大数据的产生：
为了解决数据量过大的问题
1）垂直扩展：增加自己的硬件设施但设备终归有极限；
2）横向扩展：由多个服务器所一台一台连接起来的扩展方式，没有瓶颈，可以无限扩展，简单廉价的服务器或者PC端就可以

大数据的起源（鼻祖）：google 的三大论文

GFS -------产生 HDFS分布式文件系统（分布式的存储）
MapReduce ---------分布式的处理
BigData --------- HBase (简单理解为仓库)

官网：https://hadoop.apache.org

Common ------- 里面类似于一些命令
YARN ------数据调度和集群资源管理的框架
HDFS --------综上
MapReduce -------综上 ------批处理

其他的一些项目：
Spark -----用于Hadoop数据的快速通用计算引擎

1）spark core
2) sparkSQL —可以使用sql处理
3）sparkStreaming — 流式处理
4）mllib ----机器学习库
5) graphx -----spark停止维护

用于支撑HADOOP运行起来的技术
1）kafka
2) zookeeper—协调服务
3) flume 类似kafka ,但速度比kafka快,往往和KAFKA结合起来用
4) hive ------大型数据库 ----sql语句（专门用sql语句对大数据进行整合）
5）flink
6) storm
7) hbase

注：以上为市面上用的比较多的主流技术

补：HDFS的个人理解（主从架构）
拿班级来举例子
班长----主节点（Namenode）
成员----从节点（Datanode）
学委---- client（可有可无）

存文件 -------hdfs的读写机制
读文件 -------hdfs的读写机制
备份-------为了解决安全问题

个人对大数据概念的理解（知识结构）相关推荐

什么是大数据，怎么理解和应对大数据时代
什么是大数据,怎么理解和应对大数据时代在大数据与深度学习中蝶化的人工智能.当代人工智能离不开大数据和深度学习算法.我们先来了解什么是大数据,大数据的本质是什么,在大数据时代我们应该如何应对? 当我们 ...
大数据-概念-应用-弊端
一:大数据概念大数据(big data,mega data),或称巨量资料,指的是需要新处理模式才能具有更强的决策力.洞察力和流程优化能力的海量.高增长率和多样化的信息资产. 在维克托·迈尔-舍恩伯 ...
大数据技术的理解误区
大数据本身是基于数据价值化而构建出来的新概念,虽然概念比较新,但是数据却一直都在,所以大数据的核心并不在"大"上,而是基于大数据所构建出的一个新的价值空间.在理解大数据概念的时候, ...
大数据技术_ 基础理论之大数据概念与应用
1.1 大数据的概念与意义 1．从"数据"到"大数据" 时至今日,"数据"变身"大数据","开启了一次重大的时 ...
分布式计算、云计算与大数据概论心得理解
分布式计算.云计算与大数据概论心得理解第一章分布式计算概述分布式计算的概念分布式计算与其相关计算的发展趋势集中计算(单机计算) 串行运算与并行运算简介各种计算简介网络计算网格计算分布 ...
2021年大数据基础（一）：大数据概念
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录大数据概念数据常见 ...
大数据入门(一)-大数据概念和特点(1)
一.大数据概念大数据是指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产. 大数据主 ...
专栏：谈谈我对当下大数据整顿的理解与风控建议
FAL金科应用研究院专栏:谈谈我对当下大数据整顿的理解与风控建议最近大数据行业爬虫业务监管调查风波刚稍有平息,又有P2P行业疑是被传"全军覆没",国家年前的整治力度可不谓不大. ...
大数据概论、大数据概念、大数据特点（4V）、Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、大数据应用场景、大数据发展前景、大数据部门间业务流程分析
文章目录 1.大数据概念 2.大数据特点(4V) 2.1Volume(大量) 2.2Velocity(高速) 2.3Variety(多样) 2.4Value(低价值密度) 3.大数据应用场景 4.大数 ...

个人对大数据概念的理解（知识结构）

个人对大数据概念的理解（知识结构）相关推荐

最新文章

热门文章