hadoop 完全分布式模式的安装和配置

博客已经搬家，请访问如下地址：http://www.czhphp.com

我的本地虚拟机都是用root用户登录的；

1 配置hosts文件，每个节点都要配置

2 建立hadoop运行账号，每个节点都要设置

useradd grid

passwd grid 设置账户密码

3 配置ssh免密码连入，每个节点都要设置

sudo su – grid

cd ~

mkdir .ssh

　　　ssh-keygen -t rsa

     一直回车即可

每个节点都有其他节点生成的authorized_keys的值，这样我们追加到authorized_keys就可以了；

比如：

H1 :

cat authorized_keys_h2 >>authorized_keys

cat authorized_keys_h3>>authorized_keys

H2 :

cat authorized_keys_h1 >>authorized_keys

cat authorized_keys_h3>>authorized_keys

H3 :

cat authorized_keys_h2 >>authorized_keys

cat authorized_keys_h1>>authorized_keys

然后设置authorized_keys的权限为600，.ssh 权限为700

试着 ssh h1 链接试试

4 下载并解压hadoop安装包

cd /home/grid

wget http://labs.renren.com/apache-mirror/hadoop/common/hadoop-1.0.4/hadoop-1.0.4-bin.tar.gz

tar zxvf hadoop-1.0.4.bin.tar.gz

vi .bashrc

　　　添加

5 配置namenode 修改site文件

cd /home/grid/hadoop-1.0.4

6 配置hadoop-env.sh

只配置这项即可

7 配置master和slves文件

8 向各节点复制hadoop

scp -r hadoop-1.0.4 h3:/home/grid

scp -r hadoop-1.0.4 h2:/home/grid

9 格式化namenode

10 启动hadoop

11 用jps检验各后台进程是否启动

说明：

关闭防火墙：
禁用selinux:
编辑 /etc/selinux/config文件，设置“SELINUX=disabled”博客已经搬家，请访问如下地址：http://www.czhphp.com

转载于:https://www.cnblogs.com/czh-liyu/archive/2012/10/24/2737095.html

hadoop 完全分布式模式的安装和配置相关推荐

hadoop伪分布式模式_Hadoop模式介绍-独立，伪分布式，分布式
hadoop伪分布式模式了解了什么是Hadoop之后,让我们在单机上启动Hadoop: 这篇文章包含在ubuntu上安装Hadoop的说明. 这是Hadoop安装的快速分步教程. 在这里,您将获得以 ...
安装hadoop伪分布式模式(Single Node Cluster)
目的本文档介绍如何去安装单节点hadoop集群,以便你可以的了解和使用hadoop的HDFS和MapReduce. 环境: os: CentOS release 6.5 (Final) ip: 17 ...
Ubuntu16.04下Hadoop 2.7.3的安装与配置
一.JAVA环境搭建 (1)下载JDK并解压(当前操作系统为Ubuntu16.04,jdk版本为jdk-8u111-linux-x64.tar.gz) 新建/usr/java目录,切换到jdk-8u1 ...
完全分布式Hadoop2.3安装与配置
一.Hadoop基本介绍 Hadoop优点 1.高可靠性:Hadoop按位存储和处理数据 2.高扩展性:Hadoop是在计算机集群中完成计算任务,这个集群可以方便的扩展到几千台 3.高效性:Hadoo ...
sql server分布式_如何安装，配置和使用SQL Server分布式重播
sql server分布式介绍 (Introduction) The Microsoft SQL Server Distributed Replay feature has been provide ...
【DAY2】hadoop 完全分布式模式配置的学习笔记
hadoop端口 ---------------- 1.namenode 50070 http://namenode:50070/ 2.resourcemanager:8088 http://loca ...
FastDFS分布式文件系统的安装及配置
由于网站使用nfs共享方式保存用户上传的图片,附件等资料,然后通过apache下载的方式供用户访问,在网站架构初期,使用这种简单的方式实现了静态资源的读写分离,但随着网站数据量的增加,图片服务器渐渐成 ...
hadoop yarn集群HA安装及配置
单机部署官网文档 https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/SingleCluster.html ...
hadoop 3.0.0 alpha3 安装、配置
1. 官网下载 wget http://mirror.bit.edu.cn/apache/hadoop/common /hadoop-3.0.0-alpha3/hadoop-3.0.0-alpha3 ...

hadoop 完全分布式模式的安装和配置

hadoop 完全分布式模式的安装和配置相关推荐

最新文章

热门文章