大数据基本概念hadoop、hadoop生态系统hdfsMapReduce

一、大数据的概念

大数据的特点
大量化
速度快
多样化
价值密度低

二、关于Hadoop

hadoop的操作网址：
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html

hadoop使用背景：
适合海量数据的计算。

低成本：
基于开源软件。
运行于通用硬件平台。
高拓展性：
在可用的计算机集簇间分配数据并完成任务。
这些集簇可以方便拓展到数以千计的节点中。
高效性：
高容错性

三、HDFS架构

HDFS数据写流程：

四、分布式计算框架MapReduce

一、MapReduce特点：
1、使用于海量数据的离线处理
2、易于编程
3、良好的扩展性
4、高容错性

MapReduce不适合的场景：
实时计算、流式计算、DAG计算

MapReduce编程模型：（很重要！）

流程解析：读取文件 splitting拆分 mapping计算 shuffling洗牌排序汇总结果统计

（持续更新）

大数据基本概念hadoop、hadoop生态系统hdfsMapReduce相关推荐

阿里巴巴飞天大数据架构体系与Hadoop生态系统
很多人问阿里的飞天大数据平台.云梯2.MaxCompute.实时计算到底是什么,和自建Hadoop平台有什么区别. 先说Hadoop 什么是Hadoop? Hadoop是一个开源.高可靠.可扩展的分布 ...
大数据学习笔记：Hadoop生态系统
文章目录一.Hadoop是什么二.Hadoop生态系统图三.Hadoop生态圈常用组件 (一)Hadoop (二)HDFS (三)MapReduce (四)Hive (五)Hbase (六)Zo ...
大数据实时计算工程师/Hadoop工程师/数据分析师职业路线图
大数据实时计算工程师/Hadoop工程师/数据分析师职业路线图 http://edu.51cto.com/roadmap/view/id-29.html http://my.oschina.net/i ...
大数据学习之路-Hadoop
Hadoop 1. 大数据导论 1.1 大数据概念 1.2 大数据特点 1.3 大数据应用场景 1.4 大数据部门组织结构 2. Hadoop简介与大数据生态 2.1 Hadoop的介绍 2.2 Ha ...
大数据(起源及特点,hadoop的配置安装)
一.大数据时代 1.三次信息化浪潮第一次:1980左右,个人计算机的普及.社会生产力得到大大的提高第二次:1995左右,互联网的流行.门户网站的产生,信息量急剧增加第三次:2010之后,物联网, ...
大数据系列(一)之hadoop介绍及集群搭建
大数据系列(一)之hadoop介绍及集群搭建文章最早发布来源,来源本人原创初版,同一个作者: https://mp.weixin.qq.com/s/fKuKRrpmHrKtxlCPY9rEYg 系列 ...
大数据入门第一课 Hadoop基础知识与电商网站日志数据分析
大数据入门第一课 Hadoop基础知识与电商网站日志数据分析本课程从Hadoop核心技术入手,以电商项目为依托,带领你从0基础开始上手,逐步掌握大数据核心技术(如:HDFS.YARN.MapRedu ...
大数据学习笔记之Hadoop（一）：Hadoop入门
文章目录大数据概论一.大数据概念二.大数据的特点三.大数据能干啥? 四.大数据发展前景五.企业数据部的业务流程分析六.企业数据部的一般组织结构 Hadoop(入门) 一从Hadoop框架 ...
好程序员大数据笔记之：Hadoop集群搭建
好程序员大数据笔记之:Hadoop集群搭建在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天 ...