3台机器配置hadoop集群_Hadoop学习之路(三)Hadoop集群搭建和简单应用
概念了解
主从结构:在一个集群中,会有部分节点充当主服务器的角色,其他服务器都是从服务器的角色,当前这种架构模式叫做主从结构。
主从结构分类:
1、一主多从
2、多主多从
Hadoop中的HDFS和YARN都是主从结构,主从结构中的主节点和从节点有多重概念方式:
1、主节点 从节点
2、master slave
3、管理者 工作者
4、leader follower
Hadoop集群中各个角色的名称:
服务 | 主节点 | 从节点 |
HDFS | NameNode | DataNode |
YARN | ResourceManager | NodeManager |
集群服务器规划
使用4台CentOS-6.7虚拟机进行集群搭建
软件安装步骤概述
1、获取安装包
2、解压缩和安装
3、修改配置文件
4、初始化,配置环境变量,启动,验证
Hadoop安装
1、规划
规划安装用户:hadoop
规划安装目录:/home/hadoop/apps
规划数据目录:/home/hadoop/data
注:apps和data文件夹需要自己单独创建
2、上传解压缩
注:使用hadoop用户
[hadoop@hadoop1 apps]$ lshadoop-2.7.5-centos-6.7.tar.gz[hadoop@hadoop1 apps]$ tar -zxvf hadoop-2.7.5-centos-6.7.tar.gz
3、修改配置文件
配置文件目录:/home/hadoop/apps/hadoop-2.7.5/etc/hadoop
A. hadoop-env.sh
[hadoop@hadoop1 hadoop]$ vi hadoop-env.sh
修改JAVA_HOME
export JAVA_HOME=/usr/local/jdk1.8.0_73
B. core-site.xml
[hadoop@hadoop1 hadoop]$ vi core-site.xml
fs.defaultFS : 这个属性用来指定namenode的hdfs协议的文件系统通信地址,可以指定一个主机+端口,也可以指定为一个namenode服务(这个服务内部可以有多台namenode实现ha的namenode服务
hadoop.tmp.dir : hadoop集群在工作的时候存储的一些临时文件的目录
fs.defaultFShdfs://hadoop1:9000hadoop.tmp.dir/home/hadoop/data/hadoopdata
C. hdfs-site.xml
[hadoop@hadoop1 hadoop]$ vi hdfs-site.xml
dfs.namenode.name.dir:namenode数据的存放地点。也就是namenode元数据存放的地方,记录了hdfs系统中文件的元数据。
dfs.datanode.data.dir:datanode数据的存放地点。也就是block块存放的目录了。
dfs.replication:hdfs的副本数设置。也就是上传一个文件,其分割为block块后,每个block的冗余副本个数,默认配置是3。
dfs.secondary.http.address:secondarynamenode 运行节点的信息,和 namenode 不同节点
dfs.namenode.name.dir/home/hadoop/data/hadoopdata/name为了保证元数据的安全一般配置多个不同目录dfs.datanode.data.dir/home/hadoop/data/hadoopdata/datadatanode 的数据存储目录dfs.replication2HDFS 的数据块的副本存储个数, 默认是3dfs.secondary.http.addresshadoop3:50090secondarynamenode 运行节点的信息,和 namenode 不同节点
D. mapred-site.xml
[hadoop@hadoop1 hadoop]$ cp mapred-site.xml.template mapred-site.xml[hadoop@hadoop1 hadoop]$ vi mapred-site.xml
mapreduce.framework.name:指定mr框架为yarn方式,Hadoop二代MP也基于资源管理系统Yarn来运行 。
mapreduce.framework.nameyarn
E. yarn-site.xml
[hadoop@hadoop1 hadoop]$ vi yarn-site.xml
yarn.resourcemanager.hostname:yarn总管理器的IPC通讯地址
yarn.nodemanager.aux-services:
yarn.resourcemanager.hostnamehadoop4yarn.nodemanager.aux-servicesmapreduce_shuffleYARN 集群为 MapReduce 程序提供的 shuffle 服务
F. slaves
[hadoop@hadoop1 hadoop]$ vi slaves
hadoop1hadoop2hadoop3hadoop4
4、把安装包分别分发给其他的节点
重点强调:每台服务器中的hadoop安装包的目录必须一致, 安装包的配置信息还必须保持一致
重点强调:每台服务器中的hadoop安装包的目录必须一致, 安装包的配置信息还必须保持一致
重点强调:每台服务器中的hadoop安装包的目录必须一致, 安装包的配置信息还必须保持一致
[hadoop@hadoop1 hadoop]$ scp -r ~/apps/hadoop-2.7.5/ hadoop2:~/apps/[hadoop@hadoop1 hadoop]$ scp -r ~/apps/hadoop-2.7.5/ hadoop3:~/apps/[hadoop@hadoop1 hadoop]$ scp -r ~/apps/hadoop-2.7.5/ hadoop4:~/apps/
注意:上面的命令等同于下面的命令
[hadoop@hadoop1 hadoop]$ scp -r ~/apps/hadoop-2.7.5/ hadoop@hadoop2:~/apps/
5、配置Hadoop环境变量
千万注意:
1、如果你使用root用户进行安装。vi /etc/profile 即可 系统变量
2、如果你使用普通用户进行安装。vi ~/.bashrc 用户变量
[hadoop@hadoop1 ~]$ vi .bashrc
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.5export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
使环境变量生效
[hadoop@hadoop1 bin]$ source ~/.bashrc
6、查看hadoop版本
[hadoop@hadoop1 bin]$ hadoop versionHadoop 2.7.5Subversion Unknown -r UnknownCompiled by root on 2017-12-24T05:30ZCompiled with protoc 2.5.0From source with checksum 9f118f95f47043332d51891e37f736e9This command was run using /home/hadoop/apps/hadoop-2.7.5/share/hadoop/common/hadoop-common-2.7.5.jar[hadoop@hadoop1 bin]$
7、Hadoop初始化
注意:HDFS初始化只能在主节点上进行
[hadoop@hadoop1 ~]$ hadoop namenode -format
View Code
8、启动
A. 启动HDFS
注意:不管在集群中的那个节点都可以
[hadoop@hadoop1 ~]$ start-dfs.shStarting namenodes on [hadoop1]hadoop1: starting namenode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-namenode-hadoop1.outhadoop3: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop3.outhadoop2: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop2.outhadoop4: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop4.outhadoop1: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop1.outStarting secondary namenodes [hadoop3]hadoop3: starting secondarynamenode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-secondarynamenode-hadoop3.out[hadoop@hadoop1 ~]$
B. 启动YARN
注意:只能在主节点中进行启动
[hadoop@hadoop4 ~]$ start-yarn.shstarting yarn daemonsstarting resourcemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-resourcemanager-hadoop4.outhadoop2: starting nodemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-nodemanager-hadoop2.outhadoop3: starting nodemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-nodemanager-hadoop3.outhadoop4: starting nodemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-nodemanager-hadoop4.outhadoop1: starting nodemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-nodemanager-hadoop1.out[hadoop@hadoop4 ~]$
9、查看4台服务器的进程
hadoop1
hadoop2
hadoop3
hadoop4
10、启动HDFS和YARN的web管理界面
HDFS : http://192.168.123.102:50070
YARN :http://hadoop05:8088
疑惑:fs.defaultFS = hdfs://hadoop02:9000
解答:客户单访问HDFS集群所使用的URL地址
同时,HDFS提供了一个web管理界面 端口:50070
HDFS界面
点击Datanodes可以查看四个节点
YARN界面
点击Nodes可以查看节点
Hadoop的简单使用
创建文件夹
在HDFS上创建一个文件夹/test/input
[hadoop@hadoop1 ~]$ hadoop fs -mkdir -p /test/input
查看创建的文件夹
[hadoop@hadoop1 ~]$ hadoop fs -ls /Found 1 itemsdrwxr-xr-x - hadoop supergroup 0 2018-03-03 11:33 /test[hadoop@hadoop1 ~]$ hadoop fs -ls /testFound 1 itemsdrwxr-xr-x - hadoop supergroup 0 2018-03-03 11:33 /test/input[hadoop@hadoop1 ~]$
上传文件
创建一个文件words.txt
[hadoop@hadoop1 ~]$ vi words.txt
hello zhangsanhello lisihello wangwu
上传到HDFS的/test/input文件夹中
[hadoop@hadoop1 ~]$ hadoop fs -put ~/words.txt /test/input
查看是否上传成功
[hadoop@hadoop1 ~]$ hadoop fs -ls /test/inputFound 1 items-rw-r--r-- 2 hadoop supergroup 39 2018-03-03 11:37 /test/input/words.txt[hadoop@hadoop1 ~]$
下载文件
将刚刚上传的文件下载到~/data文件夹中
[hadoop@hadoop1 ~]$ hadoop fs -get /test/input/words.txt ~/data
查看是否下载成功
[hadoop@hadoop1 ~]$ ls datahadoopdata words.txt[hadoop@hadoop1 ~]$
运行一个mapreduce的例子程序:wordcount
[hadoop@hadoop1 ~]$ hadoop jar ~/apps/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /test/input /test/output
在YARN Web界面查看
查看结果
[hadoop@hadoop1 ~]$ hadoop fs -ls /test/outputFound 2 items-rw-r--r-- 2 hadoop supergroup 0 2018-03-03 11:42 /test/output/_SUCCESS-rw-r--r-- 2 hadoop supergroup 35 2018-03-03 11:42 /test/output/part-r-00000[hadoop@hadoop1 ~]$ hadoop fs -cat /test/output/part-r-00000hello 3lisi 1wangwu 1zhangsan 1[hadoop@hadoop1 ~]$
3台机器配置hadoop集群_Hadoop学习之路(三)Hadoop集群搭建和简单应用相关推荐
- hadoop jar包_Hadoop学习之路(5)Mapreduce程序完成wordcount
程序使用的测试文本数据: Dear RiverDear River Bear Spark Car Dear Car Bear CarDear Car River Car Spark Spark Dea ...
- Linux多台机器配置互相信任关系
环境 三台机器: hadoop001, IP:192.168.92.200 hadoop002 ,IP:192.168.92.201 hadoop003, IP:192.168.92.202 配置 三 ...
- MongoDB学习笔记(三)-----集群架构
MongoDB 有三种集群部署模式,分别为主从复制(Master-Slaver).副本集(Replica Set)和分片(Sharding)模式. Master-Slaver 是一种主从副本的模式,目 ...
- Hadoop学习之路(五):Hadoop交互关系型数据库(MySQL)
内容简介 一.Hadoop与数据库交互简介 二.操作前的准备 1.创建表 2.将数据插入表words中 2.将MySQL的驱动分发到所有的Hadoop节点 三.Hadoop与MySQL交互实现 1.创 ...
- maven编译报程序包不存在_Hadoop学习之路(二)Hadoop2.7.5在CentOS6.7上的编译
下载Hadoop源码 1.登录官网 2.确定你要安装的软件的版本 一个选取原则:不新不旧的稳定版本 几个标准: 1)一般来说,刚刚发布的大版本都是有很多问题 2)应该选择某个大版本中的最后一个小版本 ...
- Redis——学习之路三(初识redis config配置)
我们先看看config 默认情况下系统是怎么配置的.在命令行中输入 config get *(如图) 默认情况下有61配置信息,每一个命令占两行,第一行为配置名称信息,第二行为配置的具体信息. 我们就 ...
- Dubbo源码学习总结系列三 dubbo-cluster集群模块
Dubbo集群模块的目的是将集群Invokers构造一个透明的Invoker对象,其中包含了容错机制.负载均衡.目录服务(服务地址集合).路由机制等,为RPC层提供高可用.高并发.自动发现.可治理的S ...
- java 工程新建ivy文件_Hadoop学习之路(八)在eclispe上搭建Hadoop开发环境
一.添加插件 将hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夹中 二.在Windows上安装Hadoop2.7.5 版本最好与Linux集群中的 ...
- hdfs 多个文件合并_hadoop学习笔记3 hadoop程序将本地文件夹中多个文件,合并为一个文件并上传到hdfs中--梦飞翔的地方(梦翔天空)...
今天梦翔儿,成功实现hadoop编程,将本地文件夹中多个文件,合并为一个文件并上传到hdfs中 直接上代码:PutMerge.java import java.io.IOException; impo ...
最新文章
- .NET 中关于 TypeCode 和枚举类型的问题
- linux 格式化磁盘数据恢复_电脑文档被格式化,怎么恢复格式化文档!
- 文巾解题 231. 2的幂
- ACE网络编程模式比较
- 【NLP】国内实力雄厚的自然语言处理(NLP)研究组
- Codeforces Round #618 (Div. 2)-B. Assigning to Classes
- 微信小程序,小游戏sockect报错修复集合
- Web前端入门学习之JS基础知识梳理汇总
- 2.3.2 EditText(输入框)详解
- qscoj:喵哈哈村的卢西奥
- 【Docker】在CentOS上安装
- IE6丢失COOKIE的问题,令人郁闷的P3P协议
- 线性代数分块矩阵公式
- 利用计算机本地文档重装系统,本地模式怎么进入PE系统对电脑进行重装
- CTF:菜狗截获了一张菜鸡发给菜猫的动态图,却发现另有玄机
- 单片机入门(预备知识)-适合初学者
- 安装angular ng-alain
- VRCHAT——SDK3
- JAVA开发方向和就业方向
- Flutter 必备开源项目
热门文章
- main函数的入口函数
- [原创] debian 9.3 搭建Jira+Confluence+Bitbucket项目管理工具(三) -- 安装confluence 6.6.1
- SQL Server 2000从入门到精通3
- [python Cookbook]阅读笔记
- linux命令--VI命令详解(三)
- docker 每次都得source /etc/profile以及如何查看Docker容器环境变量、向容器传递环境变量
- 使用vscode删除markdown空行
- arthas jvm相关命令使用示例:jvm、sysprop
- Java BigDecimal类的使用入门示例
- Scala声明类及创建类的对象