hadoop分布式环境搭建

非常详细的教程你值得拥有：https://www.cnblogs.com/clsn/p/10300487.html
1、安装JDK
环境变量配置

export  JAVA_HOME=/usr/moudle/jdk
export PATH=$PATH:$JAVA_HOME/bin

2、Hadoop安装

修改core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property><name>fs.defaultFS</name><value>hdfs://hadoop102:9000</value>
</property><!-- 指定Hadoop运行时产生文件的存储目录 -->
<property><name>hadoop.tmp.dir</name><value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

修改-hadoop-env.sh

export JAVA_HOME=/usr/moudle/jdk

修改hdfs-site.xml

<property><name>dfs.replication</name><value>3</value>
</property><!-- 指定Hadoop辅助名称节点主机配置 -->
<property><name>dfs.namenode.secondary.http-address</name><value>hadoop104:50090</value>
</property>

修改yarn-env.sh

export JAVA_HOME=/usr/moudle/jdk

修改yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property><!-- 指定YARN的ResourceManager的地址 -->
<property><name>yarn.resourcemanager.hostname</name><value>hadoop103</value>
</property>

修改mapred-env.sh

export JAVA_HOME=/usr/moudle/jdk

修改mapred-site.xml

<!-- 指定MR运行在Yarn上 -->
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>

同步脚本，分发至各个机器

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir#4 获取当前用户名称
user=`whoami`#5 循环
for((host=103; host<105; host++)); doecho ------------------- hadoop$host --------------rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

启动

sbin/start-all.sh

hadoop分布式环境搭建相关推荐

Hadoop 分布式环境搭建
1.集群机器: 1台装了 ubuntu 14.04的台式机 1台装了ubuntu 16.04 的笔记本 (机器更多时同样适用) 搭建步骤: 准备工作: 使两台机器处于同一个局域网:相互 ...
hadoop分布式环境搭建二(集群搭建)
安装准备 1.在/opt目录下创建software及modules文件夹,并修改到为mac用户下 sudo mkdir /opt/software [sudo] password for mac: [ ...
[大数据学习研究] 3. hadoop分布式环境搭建
1. Java安装与环境配置 Hadoop是基于Java的,所以首先需要安装配置好java环境.从官网下载JDK,我用的是1.8版本. 在Mac下可以在终端下使用scp命令远程拷贝到虚拟机linux中 ...
Hadoop详解（七）：YARYN完全分布式环境搭建
1. 前言本文搭建了一个由三节点(master.slave1.slave2)构成的Hadoop完全分布式集群,并通过Hadoop分布式计算的一个示例测试集群的正确性.本文将搭建一个支持Yarn的完全 ...
Hadoop入门基础教程 Hadoop之完全分布式环境搭建
上一篇我们完成了Hadoop伪分布式环境的搭建,伪分布式模式也叫单节点集群模式, NameNode.SecondaryNameNode.DataNode.JobTracker.TaskTracker所 ...
Hadoop单机和伪分布式环境搭建
hadoop环境搭建 1.三个环境单机.伪分布式.分布式 2.三个分支 apache版本(Apache基金会) cdh版本(cloudera公司) ...
最详细的Hadoop+Hbase+Hive完全分布式环境搭建教程（二）
继续上次的教程,这次安装hbase与hive.之前有同学反应百度网盘中没有hbase安装包,这次补上了,在上篇博客的网盘链接中已经有了,最详细的Hadoop+Hbase+Hive完全分布式环境搭建教程 ...
1 Hadoop 3.2.4分布式环境搭建
1 Hadoop 3.2.4分布式环境搭建 1 系统配置 3台centOS虚拟机 # 配置hosts解析 vim /etc/hosts192.168.88.129 hadoop1 192.168.88 ...
2021年大数据环境搭建（二）：分布式环境搭建
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录分布式环境搭建集群规 ...

hadoop分布式环境搭建

hadoop分布式环境搭建相关推荐

最新文章

热门文章