hadoop学习-1

hadpood的java编写的

nameNode和dataNode的关系和新华字典中索引和数据的关系一样

将数据切分成很多个块（dataNode），并以HA机制进行存储；

shell

sort：排序（默认整行排）；

uniq:去重；

-c：count，计算数量

mapRedcuce

map：对数据进行处理；（和stream中的用法一致）

shuffle:将重复的key的数据进行集合处理；

reduce:根据自己想要的值进行输出；

由map->shuffle->reduce的多个过程中，数据都需要压缩和解压，不然会对网络资源造成压力；（可以降低网络消耗，但要增加处理时间）

yarn管理的是cpu、内存（、硬盘）

1.0中的jobTracker只能单点，不能HA，如果宕机后很麻烦；

2.0中的ResourceManager是管理资源用的（cpu、内存）；nodeManager是管理任务的；

非重点内容===============↓↓↓↓↓=================

HDFS中的小文件多时，nodeName内存是会不断扩大的直到被填满，而且多了会很慢；

注：

大数据系统和业务应用系统的交互：

FTP:跨网的时候，不同业务主线

直接落库

kafka直接同步落库或直接业务支持

hadoop学习-1相关推荐

Hadoop学习笔记一简要介绍
Hadoop学习笔记一简要介绍这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的.其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了.我的这一 ...
我的hadoop学习之路
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上. Ha ...
Hadoop学习笔记(1) ——菜鸟入门
Hadoop学习笔记(1) --菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分布式系统基础架构,由Apache基金会所开发.用户能够在不了解分布式底层细节的情况下.开发分布式 ...
Hadoop学习笔记(1)
原文:http://www.cnblogs.com/zjfstudio/p/3859704.html Hadoop学习笔记(1) --菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分 ...
Hadoop学习笔记—18.Sqoop框架学习
Hadoop学习笔记-18.Sqoop框架学习一.Sqoop基础:连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择,但想将你的数据 ...
[Hadoop] Hadoop学习历程 [持续更新中…]
1. Hadoop FS Shell Hadoop之所以可以实现分布式计算,主要的原因之一是因为其背后的分布式文件系统(HDFS).所以,对于Hadoop的文件操作需要有一套全新的shell指令来完成 ...
Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
网友分享,拿来共享一下这是Hadoop学习全程记录第2篇,在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序. 新说明一下我的开发环境: 操作系统:在windows下使用wub ...
Hadoop学习笔记—20.网站日志分析项目案例（一）项目介绍
Hadoop学习笔记-20.网站日志分析项目案例(一)项目介绍网站日志分析项目案例(一)项目介绍:当前页面网站日志分析项目案例(二)数据清洗:http://www.cnblogs.com/edis ...
Hadoop学习笔记(8) ——实战做个倒排索引
Hadoop学习笔记(8) --实战做个倒排索引倒排索引是文档检索系统中最常用数据结构.根据单词反过来查在文档中出现的频率,而不是根据文档来,所以称倒排索引(Inverted Index).结构如 ...
Hadoop学习笔记—4.初识MapReduce
一.神马是高大上的MapReduce MapReduce是Google的一项重要技术,它首先是一个编程模型 ,用以进行大数据量的计算.对于大数据量的计算,通常采用的处理手法就是并行计算.但对许多开 ...

hadoop学习-1

hadoop学习-1相关推荐

最新文章

热门文章