基于ubuntu的hadoop完全分布式集群搭建

借鉴网址1

借鉴网址2

hadoop官方配置教程

搭建虚拟机，克隆（或者先配置JAVA和Hadoop环境再克隆，之后要改主机名和映射以及SSH免密）

可以利用xsync集群分发脚本一台机器配置其他机器分发

修改主机名和ip映射

检查

配置ssh免密登录

这里地址为 ~/.ssh

配置JAVA

Hadoop配置

Hadoop完全分布式集群搭建

    #Hadoop’s Java configuration is driven by two types of important configuration files:1.Read-only default configuration - core-default.xml, hdfs-default.xml, yarn-default.xml and mapred-default.xml.#默认配置文件在官网可以找到2.Site-specific configuration - etc/hadoop/core-site.xml, etc/hadoop/hdfs-site.xml, etc/hadoop/yarn-site.xml and etc/hadoop/mapred-site.xml. #这些都在etc/hadoop/中

集群分配示意图

/*For large installations, these are generally running on separate hosts.*/
HDFS daemons are NameNode, SecondaryNameNode, and DataNode.

YARN daemons are ResourceManager, NodeManager, and WebAppProxy.

If MapReduce is to be used, then the MapReduce Job History Server will also be running.

开始配置

etc/hadoop/hadoop-env.sh中配置JAVA_HOME

配置core-site.xml

##core-site.xml  自己决定参数
<configuration><!-- 指定 NameNode 的地址 --><property><name>fs.defaultFS</name><value>hdfs://Master:8080</value></property>
<!-- 指定 hadoop 数据的存储目录 --><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value></property>
</configuration>

配置hdfs-site.xml

<configuration><!-- nn web 端访问地址--><property><name>dfs.namenode.http-address</name><value>Master:9870</value></property>
<!-- 2nn web 端访问地址--><property><name>dfs.namenode.secondary.http-address</name><value>Slave2:9868</value></property>
<property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property>
<property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>

配置 yarn-site.xml

<configuration><!-- 指定 MR 走 shuffle --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 指定 ResourceManager 的地址--><property><name>yarn.resourcemanager.hostname</name><value>Slave1</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>Slave1:8088</value></property>
</configuration>

配置mapred-site.xm

<configuration><!-- 指定 MapReduce 程序运行在 Yarn 上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

配置workers

List all worker hostnames or IP addresses in your etc/hadoop/workers file, one per line. Helper scripts (described below) will use the etc/hadoop/workers file to run commands on many hosts at once. It is not used for any of the Java-based Hadoop configuration. In order to use this functionality, ssh trusts (via either passphraseless ssh or some other means, such as Kerberos) must be established for the accounts used to run Hadoop.

Master
Slave1
Slave2

同步所有节点配置文件（这里使用xsync同步文件脚本）

xsync脚本编写并且配置到PATH里可以echo $PATH然后随便找个地方丢进去

更改执行权限 chmod 777 xsync

随便建一个文件测试是否能传到其他服务器上

xsync同步可以看到文件更新

启动hadoop集群

在Master节点上

首次启动需要格式化只有首次启动需要

启动HDFS

在配置了ResourceManager的节点启动Yarn

这里是Slave1

在Slave1配置historyserver

查看是否配置完成(与之前画的图一样)

尝试web页面是否能打开

hdfs:

http://master:9870

如果在主机里没有配置master与ip地址关联的话

http://master的ip地址:9870

同理试试yarn:

http://Slave1:8088

由此，Hadoop集群配置完成

xsync

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
fi

#2. 遍历集群所有机器
for host in Master Slave1 Slave2 ##这里注意更改!!
doecho ==================== $host ====================#3. 遍历所有目录，挨个发送for file in $@do#4. 判断文件是否存在if [ -e $file ]then#5. 获取父目录pdir=$(cd -P $(dirname $file); pwd)#6. 获取当前文件的名称fname=$(basename $file)ssh $host "mkdir -p $pdir"rsync -av $pdir/$fname $host:$pdirelseecho $file does not exists!fidone
done

基于ubuntu的hadoop完全分布式集群搭建相关推荐

[大数据技术与应用省赛学习记录二]——模块一（HADOOP完全分布式集群搭建）
**在操作前,先梳理一下HADOOP完全分布式需要做些什么,不然像无头的苍蝇一样,永远不知道做什么.因为我本人比赛是一台服务器Centos 7,与三台客户端Ubuntu 18.04,所以以物理机的角度 ...
HADOOP 伪分布式集群搭建
一 linux 环境的搭建由于笔者这里使用的是vmware 虚拟机采用centos7 linux 操作系统进行搭建,所以一下示例均以centos7进行示例 1. 搭建vmware 虚拟机 (1) ...
大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程
hadoop完全分布式集群搭建一.搭建准备 1.安装VMware虚拟机 2.Xshell 7 远程客户端及Xftp 7安装 3.搭建模板虚拟机hadoop100 配置虚拟机网络为虚拟机普通用户配置 ...
Windows家庭版下基于Docker的hadoop、Spark集群搭建
Windows家庭版下基于Docker的hadoop.Spark集群搭建目录 Windows家庭版下基于Docker的hadoop.Spark集群搭建 1.实验目的 2.实验平台 3.实验内容和要求 ...
Hadoop完全分布式集群搭建详细图文教程
本文所使用的环境及版本: CentOS Linux release 7.9.2009 (Core) jdk1.8.0_291 hadoop-3.2.2 一.安装模板机 1.安装CentOS 7.9并配 ...
Hadoop完全分布式集群搭建
hadoop本地模式搭建首先准备一台Linux环境的服务器关闭防火墙 # 查看防火墙状态 systemctl status firewalld # 停止防火墙 systemctl stop fire ...
Ubuntu18.04+Docker+Hadoop+Spark分布式集群搭建
题前记:因为课程需求,下面将搭建过程用学术论文的格式写.(其实我并不想写的,没办法,学习作业嘛QAQ...) 我的联系方式:630056108 文章目录 Docker上的Hadoop大数据平台搭建与测 ...
Hadoop全分布式集群搭建（全网最详细，保姆级教程）
在上一篇Hadoop环境搭建(全网最详细,保姆级教程)中已经搭建好了一个单机Hadoop环境,接下来搭建全分布式Hadoop集群首先对Hadoop全分布示集群进行简单介绍和规划一个集群由一个主机, ...
|NO.Z.00005|——————————|BigDataEnd|——|HadoopHadoop核心框架.V05|——|Hadoop.v04|分布式集群搭建|...
一.什么是Hadoop ### --- Hadoop 是一个适合大数据的分布式存储和计算平台.~~~ 如前所述,狭义上说Hadoop就是一个框架平台, ~~~ 广义上讲Hadoop代表大数据的一个技术 ...

基于ubuntu的hadoop完全分布式集群搭建

基于ubuntu的hadoop完全分布式集群搭建相关推荐

最新文章

热门文章