学习hadoop需要具备基础知识

首先整体上了解Hadoop，包括hadoop是什么，能够做什么，使用场景等，不需要考虑细节问题。在有了整体上的了解后，就开始准备系统地学习hadoop。建议：勿一味学习理论知识，要注意理论与实践相结合。在实际操作中查缺补漏，提高针对性、目的性。

总的来说，学习hadoop需要具备：

linux
1、熟练操作linux常用命令以及网络配置；
2、熟悉用户以及权限管理操作；
3、熟悉软件包以及系统命令管理；
4、学习shell编程。
java
1、具备javaSE基础知识；
2、暂时不需要java Web及各种框架知识。
虚拟机
1、搭建虚拟机；
2、安装linux操作系统；
3、配置虚拟机网络。
hadoop
1、了解hadoop搭建的三种方式（单机模式、伪分布模式和分布式模式）；
2、掌握搭建伪分布式以及完全分布式集群；
3、认识hadoop生态系统，了解MapReduce分布式计算框架、Yarn集群资源管理和调度平台、hdfs分布式文件系统、hive数据仓库、HBase实时分布式数据库、Flume日志收集工具、sqoop数据库ETL工具、zookeeper分布式协作服务、Mahout数据挖掘库等；
4、学习MapReduce。MapReduce作为hadoop核心内容，要先易后难，首先了解Mapper、Reducer、Configuration、job等这些类，熟悉MapReduce流程图，然后写简单的单词统计代码，整体上对MapReduce认识，之后学习MapReduce运行机制，熟练掌握MapReduce输入格式，MapReduce输出格式，以及MapReduce优化；
5、学习hadoop另一个核心内容HDFS。首先明白什么是hdfs，然后再分析hdfs的优点，然后再了解Hdfs的缺点有哪些，HDFS是如何存储数据的，采用什么样的架构，我们如何实现读取和写入HDFS中的文件，以及了解HDFS副本存放策略，同时熟练掌握HDFS的shell访问和java访问；
6、学习hadoop另一个核心内容Yarn。首先要了解Yarn是什么，为什么使用Yarn，Yarn的构架，Yarn的原理。

学习hadoop需要具备基础知识相关推荐

《Java并发编程实践》学习笔记之一：基础知识
<Java并发编程实践>学习笔记之一:基础知识 1.程序与进程 1.1 程序与进程的概念 (1)程序:一组有序的静态指令,是一种静态概念: (2)进程:是一种活动,它是由一个动作序列组成 ...
学习python需要什么基础-学习Python需要哪些基础知识？
今天是腊月二十七,给各位朋友拜个早年! Python学习可以分为几个阶段,入门.进阶.应用. 先说说入门需要哪些基本的知识储备. Python因为易于学习的特点,入门很简单,掌握基本的Python知识 ...
学python需要什么基础-学习Python需要哪些基础知识？
今天是腊月二十七,给各位朋友拜个早年! Python学习可以分为几个阶段,入门.进阶.应用. 先说说入门需要哪些基本的知识储备. Python因为易于学习的特点,入门很简单,掌握基本的Python知识 ...
汇编学习（1）——基础知识
汇编学习(1)--基础知识 ---谨以此系列文章记录我的汇编学习. 关于汇编说起汇编语言,那自然不得不想到机器语言,在汇编语言尚未诞生之际,程序猿们只能非常苦逼的敲着0和1,还要记住一大堆复杂难记 ...
python基础知识资料-学习Python列表的基础知识汇总
千里之行,始于足下.要练成一双洞悉一切的眼睛,还是得先把基本功扎扎实实地学好.今天,本喵带大家仔细温习一下Python的列表.温故而知新,不亦说乎. 当然,温习的同时也要发散思考,因为有些看似无关紧要 ...
Python学习--最完整的基础知识大全
##Python学习–最完整的基础知识大全关于python的基础知识学习,网上有很多资料,今天我就把我收藏的整理一下分享给大家! #####菜鸟教程python2 #####菜鸟教程python3 ...
学习hadoop需要什么基础
2019独角兽企业重金招聘Python工程师标准>>> 学习hadoop需要什么基础 "学习hadoop需要什么基础"这已经不是一个新鲜的话题了,随便上网搜索一下 ...
小猪的Python学习之旅 —— 1.基础知识储备
小猪的Python学习之旅 -- 1.基础知识储备引言: (文章比较长,建议看目录按需学习-) 以前刚学编程的时候就对Python略有耳闻,不过学校只有C,C++,Java,C#. 和PHP有句&q ...
前端学习笔记（js基础知识）
前端学习笔记(js基础知识) JavaScript 输出 JavaScript 数据类型常见的HTML事件 DOM 冒泡与捕获流程控制语句 for..in 计时器 let,var,const的区别 ...

学习hadoop需要具备基础知识

学习hadoop需要具备基础知识

学习hadoop需要具备基础知识相关推荐

最新文章

热门文章