hadoop文件配置

1.cd /opt/你自己姓名首字母/hadoop-2.6.5/etc/hadoop/
vi hdfs-site.xml
将内的内容改为

dfs.nameservices
mycluster

dfs.ha.namenodes.mycluster nn1,nn2 dfs.namenode.rpc-address.mycluster.nn1 node01:8020 dfs.namenode.rpc-address.mycluster.nn2 node02:8020 dfs.namenode.http-address.mycluster.nn1 node01:50070 dfs.namenode.http-address.mycluster.nn2 node02:50070 dfs.namenode.shared.edits.dir qjournal://node01:8485;node02:8485;node03:8485/mycluster dfs.journalnode.edits.dir /var/~~fyf~~ /hadoop/ha/jn dfs.client.failover.proxy.provider.mycluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_dsa dfs.ha.automatic-failover.enabled true dfs.replication 3 删除线部分需自己改。

2.vi core-site.xml
同理改为

fs.defaultFS hdfs://node01:9000 hadoop.tmp.dir /var/fyf/hadoop/pseudo fs.defaultFS hdfs://mycluster ha.zookeeper.quorum node02:2181,node03:2181,node04:2181 ipc.client.connect.max.retries 100 Indicates the number of retries a client will make to establisha server connection. ipc.client.connect.retry.interval 10000 Indicates the number of milliseconds a client will wait for before retrying to establish a server connection.

3.vi slaves
删除里面的内容加上
node02
node03
node04

4.安装hadoop
cd /opt/…
将文件夹分发给node02,3,4
scp –r …/ node02:pwd
scp –r …/ node03:pwd
scp –r …/ node04:pwd

也将hdfs-site.xml和core-site.xml分发到node02,3,4
-scp hdfs-site.xml core-site.xml node02:pwd
-scp hdfs-site.xml core-site.xml node03:pwd
-scp hdfs-site.xml core-site.xml node04:pwd

用xftp传zookeeper，安装zookeeper

(1.解压安装zookeeper
tar xf zookeeper-3.4.6.tar.gz -C /opt/…

(2.修改zookeeper的配置文件
cd /opt/…/zookeeper-3.4.6/conf

给zoo_sample.cfg改名
cp zoo_sample.cfg zoo.cfg
(3.vi zoo.cfg
改dataDir=/var/…/zk
加
server.1=node02:2888:3888
server.2=node03:2888:3888
server.3=node04:2888:3888

(4.把zookeeper分发给node03，node04
scp -r zookeeper-3.4.6/ node03:pwd
scp -r zookeeper-3.4.6/ node04:pwd

(5.给每台机子创建刚配置文件里的路径
mkdir -p /var/…/zk
对node02来说：
echo 1 > /var/…/zk/myid
cat /var/…/zk/myid
对node03来说：
echo 2 > /var/…/zk/myid
cat /var/…/zk/myid
对node04来说：
echo 3 > /var/…/zk/myid
cat /var/…/zk/myid
(6.在/etc/profile进行配置然后分发到node03,，04

scp /etc/profile node03:/etc
scp /etc/profile node04:/etc

(7.启动zookeeper
全部会话内输zkServer.sh start(node01内没有zookeeper)
然后用zkServer.sh status查看zookeeper节点的状态

开启后应该有一个leader

**当输入zk tab键后出来这个就对了，最后不要忘记关掉zookeeper
**

hdoopHA的文件配置和安装hadoop和安装zookeeper相关推荐

hadoop ubantu环境搭建_Ubuntu16.04 下 hadoop的安装与配置（伪分布式环境）
一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo pass ...
Hadoop的安装(单机和集群)
Hadoop单机的安装 Hadoop的安装包括以下几个步骤: 安装jdk 安装hadoop 安装jdk > vim /etc/profile (在该文件最下面增加以下语句) export JAV ...
Hadoop的伪分布安装 hadoop的核心思想
Hadoop的伪分布安装 hadoop的安装分为本地模式.伪分布模式.集群模式.本地模式是运行在本地,只负责存储,没有计算功能,本书不讲述.伪分布模式是在一台机器上模拟分布式部署,方便学习和调试.集群 ...
WIN 10 安装 Hadoop 2.7.7 + Spark 2.4.7 记录
文章目录 0. 常规解压安装,并添加环境变量 1. 下载并覆盖 bin 文件夹 2. 使VERSION文件的clusterID一致 3. 贴下单机配置 4. 测试 Hadoop 5. 安装Spark ...
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.3)
https://blog.csdn.net/pucao_cug/article/details/71698903 1下载hadoop 2安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2 ...
《Docker系列》Docker安装Hadoop
docker安装Hadoop 1 安装docker 1.1 添加docker到yum源 ## 1.安装 [root@hadoop ~]# yum-config-manager --add-repo h ...
Mac安装Hadoop(超级无敌宇宙爆炸详细)
一.设置ssh免密登录首先打开mac的系统偏好设置->共享->勾选远程登录 1.打开终端terminal,输入命令:ssh-keygen -t rsa,一直回车即可 2.查看生成的公钥和 ...
[Hadoop]在Windows上安装Hadoop
详细步骤请下载附件:在Windows上安装Hadoop ,以下是主要章节: 1.引言本示例主要介绍如何在windows下安装/启动hadoop,本示示例中在以下环境测试通过: ★ 操作系统:wind ...
Hadoop安装配置,并使用Hadoop计算圆周率测试Hadoop是否安装成功
一.实验目的掌握如何安装.配置和运行Hadoop,并使用Hadoop计算圆周率测试Hadoop是否安装成功. 二.实验环境 (1)Linux Ubuntu 16.04 (2)jdk-8u162-li ...
linux hadoop etc目录,题目Linux平台下Hadoop的安装配置
1Linux平台下Hadoop的安装配置以下操作均是在虚拟机VWMare10.0平台上安装ubuntu12.04实现.首先要在ubuntu下穿件Hadoop用户. Ubuntulinux查看系统版本 ...

hdoopHA的文件配置和安装hadoop和安装zookeeper

hadoop文件配置

用xftp传zookeeper，安装zookeeper

hdoopHA的文件配置和安装hadoop和安装zookeeper相关推荐

最新文章

热门文章