4台机器完全分布式安装hadoop，bigbrother的补充
完全分布式
示意图
Namnode的配置
克隆机器
1， 克隆，改名
2， 该udev文件 /etc/udev/rules.d/70-…-net… 把最后一行的eth1改为eth0，把前面几行都注释掉
start_udev 开启
改网卡/etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=192.168.x.100
把uuid和MAC地址注释掉或者删除
Service network restart
3， 改名
/etc/sysconfig/network
把里面的默认localhost改为namenode
重启 reboot
4， 关闭防火墙 service iptables stop
5， 安装JDK ,安装Hadoop
rpm -ivh jdk… 默认安装到/usr/java/jdk… 把它名字改为jdk7
配置环境变量/etc/profile
里面需要添加两行
export JAVAHOME=/usr/java/jdk7
export PATH=PATH:PATH:PATH:JAVAHOME/bin
文件配置完毕侯需要source一下
source /etc/profile
安装hadoop
tar -zxvf had… -C /opt/
配置环境变量/etc/profile
里面需要添加两行
export HADOOP_PREFIX=/opt/hadoop-2.6.5
export PATH=PATH:PATH:PATH:HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
文件配置完毕侯需要source一下
source /etc/profile
6, 修改hosts文件，通过名字可以找到对方的IP 写四条
vi /etc/hosts添加下面4条
192.168.x.100 namenode
192.168.x.101 node1
192.168.x.102 node2
192.168.x.103 node3
7，配置三个环境变量文件
/opt/hadoo
p-2.6.5/etc/hadoop/
vi hadoop-env.sh
mapred-env.sh
yarn-env.sh
这三个文件里面修改JAVA_HOME改位自己安装的JDK目录
JAVA_HOME=/usr/java/jdk7
8，配置主要配置文件
vi core-site.xml
<property><name>fs.defaultFS</name><value>hdfs://namenode:9000</value>
</property>
<property><name>hadoop.tmp.dir</name><value>/var/hadoop/local</value>
</property>
配置hdfs-site.xml
vi hdfs-site.xml
<property><name>dfs.replication</name><value>2</value>
</property>
<property><name>dfs.namenode.secondary.http-address</name><value>node1:50090</value>
</property>
配置奴隶文件
Vi slaves
添加
node1
node2
node3
NODE1:
1， 克隆，改名
2， 该udev文件 /etc/udev/rules.d/70-…-net… 把最后一行的eth1改为eth0，把前面几行都注释掉
start_udev 开启
改网卡/etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=192.168.x.101
把uuid和MAC地址注释掉或者删除
Service network restart
3， 改名
/etc/sysconfig/network
把里面的默认localhost改为node1
重启 reboot
4， 关闭防火墙 service iptables stop
5， 安装JDK ,安装Hadoop
rpm -ivh jdk… 默认安装到/usr/java/jdk… 把它名字改为jdk7
配置环境变量/etc/profile
里面需要添加两行
export JAVAHOME=/usr/java/jdk7
export PATH=PATH:PATH:PATH:JAVAHOME/bin
文件配置完毕侯需要source一下
source /etc/profile
安装hadoop
tar -zxvf had… -C /opt/
配置环境变量/etc/profile
里面需要添加两行
export HADOOP_PREFIX=/opt/hadoop-2.6.5
export PATH=PATH:PATH:PATH:HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
文件配置完毕侯需要source一下
source /etc/profile
6, 修改hosts文件，通过名字可以找到对方的IP 写四条
vi /etc/hosts添加下面4条
192.168.x.100 namenode
192.168.x.101 node1
192.168.x.102 node2
192.168.x.103 node3
7，配置三个环境变量文件
/opt/hadoo
p-2.6.5/etc/hadoop/
vi hadoop-env.sh
mapred-env.sh
yarn-env.sh
这三个文件里面修改JAVA_HOME改位自己安装的JDK目录
JAVA_HOME=/usr/java/jdk7
8，配置主要配置文件
vi core-site.xml
<property><name>fs.defaultFS</name><value>hdfs://namenode:9000</value>
</property>
<property><name>hadoop.tmp.dir</name><value>/var/hadoop/local</value>
</property>
配置hdfs-site.xml
vi hdfs-site.xml
<property><name>dfs.replication</name><value>2</value>
</property>
<property><name>dfs.namenode.secondary.http-address</name><value>node1:50090</value>
</property>
配置奴隶文件
Vi slaves
添加
node1
node2
node3
NODE2:
1， 克隆，改名
2， 该udev文件 /etc/udev/rules.d/70-…-net… 把最后一行的eth1改为eth0，把前面几行都注释掉
start_udev 开启
改网卡/etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=192.168.x.102
把uuid和MAC地址注释掉或者删除
Service network restart
3， 改名
/etc/sysconfig/network
把里面的默认localhost改为node2
重启 reboot
4， 关闭防火墙 service iptables stop
5， 安装JDK ,安装Hadoop
rpm -ivh jdk… 默认安装到/usr/java/jdk… 把它名字改为jdk7
配置环境变量/etc/profile
里面需要添加两行
export JAVAHOME=/usr/java/jdk7
export PATH=PATH:PATH:PATH:JAVAHOME/bin
文件配置完毕侯需要source一下
source /etc/profile
安装hadoop
tar -zxvf had… -C /opt/
配置环境变量/etc/profile
里面需要添加两行
export HADOOP_PREFIX=/opt/hadoop-2.6.5
export PATH=PATH:PATH:PATH:HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
文件配置完毕侯需要source一下
source /etc/profile
6, 修改hosts文件，通过名字可以找到对方的IP 写四条
vi /etc/hosts添加下面4条
192.168.x.100 namenode
192.168.x.101 node1
192.168.x.102 node2
192.168.x.103 node3
7，配置三个环境变量文件
/opt/hadoo
p-2.6.5/etc/hadoop/
vi hadoop-env.sh
mapred-env.sh
yarn-env.sh
这三个文件里面修改JAVA_HOME改位自己安装的JDK目录
JAVA_HOME=/usr/java/jdk7
8，配置主要配置文件
vi core-site.xml
<property><name>fs.defaultFS</name><value>hdfs://namenode:9000</value>
</property>
<property><name>hadoop.tmp.dir</name><value>/var/hadoop/local</value>
</property>
配置hdfs-site.xml
vi hdfs-site.xml
<property><name>dfs.replication</name><value>2</value>
</property>
<property><name>dfs.namenode.secondary.http-address</name><value>node1:50090</value>
</property>
配置奴隶文件
Vi slaves
添加
node1
node2
node3
NODE3:
1， 克隆，改名
2， 该udev文件 /etc/udev/rules.d/70-…-net… 把最后一行的eth1改为eth0，把前面几行都注释掉
start_udev 开启
改网卡/etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=192.168.x.103
把uuid和MAC地址注释掉或者删除
Service network restart
3， 改名
/etc/sysconfig/network
把里面的默认localhost改为node3
重启 reboot
4， 关闭防火墙 service iptables stop
5， 安装JDK ,安装Hadoop
rpm -ivh jdk… 默认安装到/usr/java/jdk… 把它名字改为jdk7
配置环境变量/etc/profile
里面需要添加两行
export JAVAHOME=/usr/java/jdk7
export PATH=PATH:PATH:PATH:JAVAHOME/bin
文件配置完毕侯需要source一下
source /etc/profile
安装hadoop
tar -zxvf had… -C /opt/
配置环境变量/etc/profile
里面需要添加两行
export HADOOP_PREFIX=/opt/hadoop-2.6.5
export PATH=PATH:PATH:PATH:HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
文件配置完毕侯需要source一下
source /etc/profile
6, 修改hosts文件，通过名字可以找到对方的IP 写四条
vi /etc/hosts添加下面4条
192.168.x.100 namenode
192.168.x.101 node1
192.168.x.102 node2
192.168.x.103 node3
7，配置三个环境变量文件
/opt/hadoo
p-2.6.5/etc/hadoop/
vi hadoop-env.sh
mapred-env.sh
yarn-env.sh
这三个文件里面修改JAVA_HOME改位自己安装的JDK目录
JAVA_HOME=/usr/java/jdk7
8，配置主要配置文件
vi core-site.xml
<property><name>fs.defaultFS</name><value>hdfs://namenode:9000</value>
</property>
<property><name>hadoop.tmp.dir</name><value>/var/hadoop/local</value>
</property>
配置hdfs-site.xml
vi hdfs-site.xml
<property><name>dfs.replication</name><value>2</value>
</property>
<property><name>dfs.namenode.secondary.http-address</name><value>node1:50090</value>
</property>
配置奴隶文件
Vi slaves
添加
node1
node2
node3
以上都做完后，开始免密钥登录
（1） 在4台上产生公钥
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
（2）把自己的公钥进行修改名字
cp ~/.ssh/id_dsa.pub namenode.pub (node1.pub,node2.pub,node3.pub)
(3)把这些公钥放在同一台机器上然后一个authorized文件里面
Cat namenode.pub >> ~/.ssh/authorized_keys
Node1.pub >> ~/.ssh/authorized_keys
Node2.pub >> ~/.ssh/authorized_keys
Node3.pub >> ~/.ssh/authorized_keys
把authorized文件scp各个机器
做免密码测试
把四台机器的时间设置为一样的时间
Date -s “xxxxxx”
格式化hdfs
Hdfs namenode -fromat
启动集群
Start-dfs.sh
最后使用jps看一下集群是否正常!
4台机器完全分布式安装hadoop，bigbrother的补充相关推荐
- Linux伪分布式安装Hadoop
Linux伪分布式安装Hadoop 1. 更新软件列表 hadoop@jeff:~$ sudo apt update 2. 安装vim编辑器 hadoop@jeff:/home/jeff$ sudo ...
- open-falcon 分布式安装
open-falcon 分布式安装 1,open-falcon 分布式安装 1.1 服务器`192.168.0.196` 2,运行 3,登陆安装数据库的节点`192.168.0.202` 4,重启启动 ...
- hadoop集群的搭建（分布式安装）
集群 计算机集群是一种计算机系统,他通过一组松散集成的计算机软件和硬件连接起来高度紧密地协同完成计算工作. 集群系统中的单个计算机通常称为节点,通常通过局域网连接. 集群技术的特点: 1.通过多台计算 ...
- hadoop 2.7.3伪分布式安装
hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...
- Hadoop学习笔记（一）：零Linux基础安装hadoop过程笔记
环境及目标: - 系统:VMWare / Ubuntu 12.04 - Hadoop版本:0.20.2 - 我的节点配置 (完全分布式集群) Master (job tracker) 192.168. ...
- centos7 5台机器集群环境初始化
一.准备 5台机器上搭建hadoop集群环境 5台机器主机名与IP分别为 主机名 IP nn1.hadoop 192.168.109.151 nn2.hadoop 192.168.109.152 s1 ...
- mysql三台机群集_MySQL Cluster 3台机器搭建集群环境
最后还是通过三台机器实现了linux下的mysql集群,这边首先要感谢众多网络上提供帮助教程,虽然有些没有经过实践无法真正达到效果,但是这次给MGM项目的这个开头还是不错. 书归正传,这边用的是vmw ...
- vistor和tsmserver不在同一台机器上的连接问题
关于vistor和tsmserver不在同一台机器上的连接问题,有什么问题欢迎指正 关于vistor和tsmsever不在同一台机器上的连接问题(都是在Linux平台下) 首先保证两台机器能够ping ...
- CentOS 7.2 64位 安装hadoop之后无法正常启动hdfs问题
分别在两台linux系统上安装hadoop时,./start-dfs.sh启动hdfs时均出现报错 19/02/02 22:24:14 WARN util.NativeCodeLoader: Unab ...
最新文章
- 【论文笔记】Region-based Convolutional Networks for Accurate Object Detection and Segmentation
- Mac安装code blocks以及解无法打开的问题
- unity2017.1.0f3与旧的粒子系统不兼容
- harbor的镜像复制功能使用教程
- PAT1001 A+B Format （20 分）
- 盘点15个不起眼但非常强大的 Vim 命令
- 计算机ip地址配置参数,指定电脑的IP地址和DNS等参数配置方法
- 从人脸识别到内容审核，百度硬核AI技术推荐！
- 【编程语言】Python-Pandas库中的交叉表
- 如何检查正在运行脚本的Python版本？
- css学习----边框属性
- C# MP3操作类,能播放指定的mp3文件,或播放嵌入的资源中的Mp3文件
- 【Unity3D】VideoPlayer组件
- Chrome的最小字体12px限制最终解决办法
- uni-app 设备之（加速计，罗盘，陀螺仪）
- 转载 ADB logcat 过滤方法(抓取日志)
- Python零基础之selenium
- 四年级下册计算机技术做福字,四年级写福字作文
- 如何将一个向量投影到一个平面上_向量的各种积
- 自定义notepad++ --添加插件SourceCookifier