Zookeeper+Hadoop+Hbase完全分布搭建数据仓库安装部署说明
Zookeeper+Hadoop+Hbase
完全分布搭建数据仓库安装部署说明
------------一个专注学习技术的不正经程序猿，像一颗海草，在技术的海洋里浪啊浪~
网上一搜一大把这种文章，我这大姑娘上花轿头一次，也不知道写点啥，就mark一下最近自己学习的东西吧，期间也在网上浏览了各路大神的神作，借鉴各位前辈的智慧，这里有写的不对的，请大家评论区撩我，但是我可能不回
不过呢，缘分是个奇怪的东西，既然你进来了，那我们之间的故事就开始了…
呸，到哪儿都改不了话唠的毛病
-------------------------------------------------我是分割线--------------------------------------------------------
本文档仅适用于zookeeper+hadoop+hbase搭建数据仓库时参考，根据自身系统环境自由选择。
写于开始前：文中所说的环境是我基于阿里云服务器的Linux（centos 7）的环境，如果在自己的本地通过VMware WorkStation 装载虚拟机，也可以参考。
文中所涉及到的命令，请同学们自己手动敲打，不要偷懒copy，因为可能存在字符不同，导致命令出错。
文中标注的“注意”的地方，请大家千万小心。
一、服务器环境准备
Linux操作系统，3台，我的是如下表格，请各位同学自行对号入座：
| 操作系统 | 主机名 | ip |
|---|---|---|
| Centos7 | hadoop01 | ip1 |
| Centos7 | hadoop02 | ip2 |
| Centos7 | hadoop03 | ip3 |
主机名你爱叫啥叫啥，不必跟我一样，但是后续步骤要匹配上。
1.1、设置主机名
3台服务器分别执行命令:
hostnamectl set-hostname hadoop01
hostnamectl set-hostname hadoop02
hostnamectl set-hostname hadoop03
hadoop01、hadoop02、hadoop03是主机名
1.2、设置服务器静态ip
划重点！！！划重点！！！划重点！！！
使用公网ip访问自己的话，它不能识别，只能用自己的内部ip（虚拟）来访问自己（好坑啊！！！不注意的话能搞死你）；
本地安装虚拟机的小伙伴可能就没这个坑，因为虚拟机的ip都是靠主机分发的内部ip，不会出现这个问题的。
命令ifconfig查看服务器的虚拟网卡，如下：
图1
设置静态ip,进入路径:
cd /etc/sysconfig/network-scripts/
图2
ifcfg-eth0即你的服务器网卡设置文件，可能有的同学的是ens33，没关系，这不是重点。
使用命令：
当前为文件所在路径：
vim ifcfg-eth0
其它路径：
vim /etc/sysconfig/network-scripts/ifcfg-eth0
配置如下内容即可，根据图1中的内容填,改完保存，source 使之生效。
图3
每台机器都要设置哦！
然后，顺便设置服务器的ip代理，为后面的设置免密登录做准备。
编辑hosts文件，
vim /etc/hosts
最后面添加内容为：
172.16.239.198 hadoop01
ip2 hadoop02
ip3 hadoop03
备注：172.16.239.198这个与你当前服务器的静态ip一致,见图3
ip2、ip3是另外两台机器的公网ip
hadoop01、hadoop02、hadoop03是主机名，见开头那个表格
校验一下，使用命令：
ping hadoop01
ping hadoop02
ping hadoop03
结果应该是都能ping通；拼不通的话，试试拼ip通不通。
1.3、关闭防火墙
查看当前服务器防火墙状态，命令：
systemctl status iptables.service
使用firewalld.service也可以，我这里是iptables.service。
如果提示iptables.service不存在,则表示系统上还没安装iptables.service，使用命令安装即可：
yum install iptables-services
安装完后，再执行一次查看防火墙命令：systemctl status iptables.service
开启状态，应该是绿色的，如下图
有的同学可能不喜欢绿色，哈哈，没事，咱把他干掉！！！
执行命令(本次关闭，重启服务的话会失效)：
systemctl stop iptables.service
设置开机不启动防火墙：
systemctl disable iptables.service
然后确认一下状态,如下图
好的，他死了。
这里我要跟大家普及一个问题：
1 hadoop搭建无论是伪分布式还是集群，都要关闭防火墙，关闭原因是什么？
2 如上两种方式搭建下，在搭建成功后，还需要开启防火墙吗？
3 如果不开启防火墙的话，岂不是这个集群不安全了？
（我擦嘞，一个不够写 #_#！）
回答:
集群其实现在没什么安全性考虑的，
因为都是内网搭建的，对外还有一个服务器的，那个服务器有防火墙，由它来访问内网集群，如果内网内开启防火墙，内网集群通讯会出现很多问题。
所以，同志们，在阿里云或者其他云上搞这个的话，要慎重啊！！！
关闭防火墙你就等于把自己的机器赤身裸体的暴露在外了…
当然，不关闭防火墙也可以的（啪啪啪，打脸…)，防火墙上开启所有你需要的端口就可以了（这个太鸡儿麻烦了，我是图省事，就关闭防火墙了），咳咳~严谨的小伙伴要做防火墙策略，这里不多赘述。
1.4、设置ssh免密登录
为了使3台服务器之间能够自由的互相访问，必须设置免密登录，否则后面hadoop上的数据分散、共享会出问题，切记！
首先，每台机器上都执行命令：
ssh-keygen
输完命令一直回车就行了。
若提示/root/.ssh/id_rsa already exists.可以输入y重新生成公、私钥，直到界面出现一幅灵魂画像，如下图：
出现这个说明生成节点的公钥和私钥，生成的文件会自动放在/root/.ssh目录下。
----------------------------------------重点来了！重点来了！重点来了！--------------------------------------
将生成的公钥发往其他机器，以便互相识别，如果期间让你输入密码，应该是输入机器的登录密码（如果机器设置了登录密码,就是你登录系统时的密码）。
在3台服务器上执行3行命令，是每台都要执行下面3行命令，为了让三个机器都能互相免密访问。
ssh-copy-id root@hadoop01
ssh-copy-id root@hadoop02
ssh-copy-id root@hadoop03
到这里免密设置完成，下面我们校验一下，在任一台服务器上执行ssh命令，
ssh hadoop01
ssh hadoop02
ssh hadoop03
都能成功，如下图：
如果失败，还让你输入密码的话，请将上面步骤重走一遍即可，9成可能是在生成机器公私钥时出错了 。
1.5、安装jdk
安装jdk方式有两种，
一、使用yum命令安装，优点方便快捷；缺点安装路径不可控。
二、自己手动上传jdk包解压，优点安装路径看自己心情随便安放；缺点需要自己去找资源上传服务器。
个人推荐自己手动上传jdk包，安装路径自己决定，我还是喜欢主动一点的，乐趣嘛
我这里安装的版本是：jdk-8u25-linux-x64.tar.gz（1.8.0.25）
安装路径为：/var/local/jdk，使命令：rz –be 上传jdk的压缩包
然后直接解压：tar -zxvf jdk-8u25-linux-x64.tar.gz
解压完成后，设置环境变量，
vim /etc/profile
文末添加：
export JAVA_HOME=/var/local/jdk/jdk1.8.0_25
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
保存，退出，使用命令：
source /etc/profile
使之生效。
二、安装zookeeper
我这里安装的版本是：zookeeper-3.4.10
为了便于管理，我在系统的home目录下创建了bigData文件夹。
2.1、上传zookeeper压缩包并解压
进入bigData目录，
上传zookeeper压缩包，rz –be 压缩包，
并解压：tar -zxvf zookeeper-3.4.10.tar.gz。
进入zookeeper目录，创建一个文件夹data，存放zookeeper的运行等数据
进入data文件夹，在这里创建一个文件，名称为myid,
执行命令：
touch myid
然后编辑这个文件内容为1，
（ps：这里是给服务编号，后面配置zookeeper的运行文件时就会用到了，走着瞧好了）
执行命令：
echo “1”>myid
或者直接 vim myid 输入1 保存退出。
2.2、配置zookeeper
进入zookeeper目录下的conf文件夹
复制一份zookeeper默认的运行配置文件，执行命令：
cp zoo_sample.cg zoo.cfg
编辑zoo.cfg文件
vim zoo.cfg
修改内容：
dataDir=/home/bigData/zookeeper-3.4.10/data
（看见没有，刚才让你创建的文件夹起作用了吧）
接着在文末追加：
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
注意：server后面的数字一定要跟当前zookeeper下data下myid中的数字对应上，否则会出问题。
当前服务器在主机名为hadoop01上面，所以这里就是server.1，后面用hadoop01代理ip（这里不用主机名直接使用ip也行）；
同理待会儿去机器2、3上面做对应设置即可，后面到那一步时，我再给你提醒一下。
内容如图：
2.3、编辑环境变量
修改环境变量文件，vim /etc/profile
追加内容： export ZOOKEEPER_HOME=/home/bigData/zookeeper-3.4.10
修改PATH：在PATH项的$PATH前面面追加：$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf
保存，退出，source /etc/profile 使之生效。
到此zookeeper安装完成，然后将配置好的zookeeper文件夹发往其他服务器（hadoop02，hadoop03）
使用命令：
scp -r /home/bigData/zookeeper-3.4.10/ hadoop02:/home/bigData/
scp -r /home/bigData/zookeeper-3.4.10/ hadoop03:/home/bigData/
注意：复制后记得去对应机器上修改myid的文件中的值，与server的对应。
也别忘了去修改其他服务器的环境变量哦！！！
三、安装haddoop
再捎一句，重头戏来了…
3.1、安装hadoop
到/home/bigData/目录下，上传hadoop压缩包并解压;
我这里的hadoop版本为hadoop-2.7.1
3.2、配置环境变量
配置hadoop环境变量：vim /etc/profile
文末追加：export HADOOP_HOME=/home/bigData/hadoop-2.7.1
修改PATH：在PATH的$PATH 前添加$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
保存，退出，source /etc/profile 使之生效。
3.3、相关文件配置
进入/home/bigData/hadoop-2.7.1/etc/hadoop目录，你会发现,你会了解（怎么唱出来了,#黑人问好脸）配置文件都在这里…
配置文件中凡是涉及到主机名、端口等信息的，自行设置，但一定要前后一致，我就不一一赘述了。
3.3.1、修改hadoop-env.sh
vim hadoop-env.sh
指定jdk路径
export JAVA_HOME=/var/local/jdk/jdk1.8.0_25
3.3.2、修改core-site.xml
vim core-site.xml
内容为：
<configuration><!-- 指定hdfs的nameservice为masters --><property><name>fs.defaultFS</name><value>hdfs://masters</value></property><!-- 指定hadoop临时目录 --><property><name>hadoop.tmp.dir</name><value>/home/bigData/hadoop-2.7.1/tmp</value></property><!-- 指定zookeeper地址 --><property><name>ha.zookeeper.quorum</name><value>hadoop01:2181,hadoop02:2181,hadoop03:2181 </value></property>
</configuration>
保存，退出。
3.3.3、修改hdfs-site.xml
vim hdfs-site.xml
内容为：
<configuration><!--指定hdfs的nameservice为masters，需要和core-site.xml中的保持一致 --><property><name>dfs.nameservices</name><value>masters</value></property><!-- Master下面有两个NameNode，分别是nn1,nn2 --><property><name>dfs.ha.namenodes.masters</name><value>nn1,nn2</value></property><!--nn1的RPC通信地址--><property><name>dfs.namenode.rpc-address. masters.nn1</name><value>hadoop01:9000</value></property><!--nn1的http通信地址--><property><name>dfs.namenode.http-address. masters.nn1</name><value>hadoop01:50070</value></property><!--nn2的RPC通信地址--><property><name>dfs.namenode.rpc-address. masters.nn2</name><value>hadoop02:9000</value></property><!--nn2的http通信地址--><property><name>dfs.namenode.http-address. masters.nn2</name><value>hadoop02:50070</value></property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 --><property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/masters</value> </property><!-- 指定JournalNode在本地磁盘存放数据的位置 --><property><name>dfs.journalnode.edits.dir</name><value>/home/bigData/hadoop-2.7.1/journal</value></property><!-- 开启NameNode失败自动切换 --><property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property><!-- 配置失败自动切换实现方式 --><property><name>dfs.client.failover.proxy.provider.masters</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行--><property><name>dfs.ha.fencing.methods</name><value>sshfence</value></property><!-- 使用sshfence隔离机制时需要ssh免登陆 --><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/root/.ssh/id_rsa</value></property><!-- 配置sshfence隔离机制超时时间 --><property><name>dfs.ha.fencing.ssh.connect-timeout</name><value>30000</value></property><!--设置hdfs的操作权限，false表示任何用户都可以在hdfs上操作文件--><property><name>dfs.permissions</name><value>false</value></property>
</configuration>
保存，退出。
3.3.4、修改mapred-site.xml
如果没有这个文件的话，执行命令：
cp mapred-site.xml.template mapred-site.xml
修改的内容为：
<configuration><!-- 指定mr框架为yarn方式 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
保存，退出。
3.3.5、修改yarn-site.xml
vim yarn-site.xml
内容为：
<configuration><!-- Site specific YARN configuration properties --><!-- 开启YARN HA --> <property><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property><!-- 指定两个resourcemanager的名称 --> <property><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value></property><!-- 配置rm1，rm2的主机 --> <property><name>yarn.resourcemanager.hostname.rm1</name><value>hadoop01</value></property><property><name>yarn.resourcemanager.hostname.rm2</name><value>hadoop03</value></property><!--开启yarn恢复机制--><property><name>yarn.resourcemanager.recovery.enabled</name><value>true</value></property><!--执行rm恢复机制实现类--><property><name>yarn.resourcemanager.store.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value></property><!-- 配置zookeeper的地址 --> <property><name>yarn.resourcemanager.zk-address</name><value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value><description>For multiple zk services, separate them with comma</description></property><!-- 指定YARN HA的名称 --><property><name>yarn.resourcemanager.cluster-id</name><value>yarn-ha</value></property><property><!--指定yarn的老大 resoucemanager的地址--><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><!--NodeManager获取数据的方式--><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.resource.memory-mb</name><value>42224</value></property><property><name>yarn.scheduler.minimum-allocation-mb</name><value>1024</value><discription>单个任务可申请最少内存，默认1024MB(可调)</discription></property><property><name>yarn.scheduler.maximum-allocation-mb</name><value>40960</value><discription>单个任务可申请最大内存，默认8192MB(可调)</discription></property><property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value></property><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property><property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>10</value></property><!--启动uber模式（针对小作业的优化）--><property><name>mapreduce.job.ubertask.enable</name><value>true</value></property><!--配置启动uber模式的最大map数--><property><name>mapreduce.job.ubertask.maxmaps</name><value>9</value></property><!--配置启动uber模式的最大reduce数--><property><name>mapreduce.job.ubertask.maxreduces</name><value>1</value></property><property><name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name><value>100</value></property><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>48</value></property>
</configuration>
保存，退出。
3.3.6、slaves文件
vim slaves
内容为：
hadoop01
hadoop02
hadoop03
3.4、拷贝hadoop到其他节点
将安装配置好的hadoop目录，拷贝到其他两台机器上：
scp -r /home/bigData/hadoop-2.7.5/ hadoop02:/home/bigData/
scp -r /home/bigData/hadoop-2.7.5/ hadoop03:/home/bigData/
四、安装Hbase
安装hbase之前必须要保证的是三台服务器的时间保持同步，推荐使用ntp完成时间配置(安装ntp：yum install ntp)。
4.1、上传hbase安装文件并解压
我的版本是：hbase-2.0.5，路径为：/home/bigData/
4.2、配置环境变量
编辑/etc/profile文件，
vim /etc/profile
文末添加：export HBASE_HOME=/home/bigData/hbase-2.0.5
修改PATH项：在PATH项的$PATH 前添加$HADOOP_HOME/bin:
保存，退出，source /etc/profile 使之生效。
Hbase的配置文件在conf目录下，首先复制hadoop的hdfs-site.xml到conf目录下（cp命令即可）。
4.3、修改hbase-env.sh
vim hbase-env.sh
修改内容，如下：
export JAVA_HOME=/var/local/jdk/jdk1.8.0_25
//这里指向hadoop的运行bin地址
export HBASE_CLASSPATH=/home/bigData/hadoop-2.7.1/etc/hadoop
export HBASE_HEAPSIZE=10G
export HBASE_OFFHEAPSIZE=4G
export HBASE-MANAGES_ZK=false
保存，退出。
4.4、修改hbase-site.xml
vim hbase-site.xml
修改内容如下：
<configuration>
<property><name>hbase.zookeeper.quorum</name><value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value><description>The directory shared by RegionServers.</description></property><property><name>hbase.rootdir</name><value>hdfs://masters/hbase</value><description>The directory shared by RegionServers.</description></property><property><name>hbase.cluster.distributed</name><value>true</value><description>The mode the cluster will be in. Possible values arefalse: standalone and pseudo-distributed setups with managedZookeepertrue: fully-distributed with unmanaged Zookeeper Quorum (seehbase-env.sh)</description></property><property><name>hbase.regionserver.handler.count</name><value>50</value></property><property><name>hbase.hregion.majorcompaction</name><value>0</value></property><property><name>hbase.hregion.memstore.flush.size</name><value>104857600</value></property><property><name>hbase.hregion.memstore.block.multiplier</name><value>8</value></property><property><name>hbase.regionserver.maxlogs</name><value>128</value></property><property><name>hbase.hstore.compaction.min</name><value>10</value></property><property><name>hbase.hstore.compaction.max</name><value>30</value></property><property><name>hbase.hstore.blockingStoreFiles</name><value>100</value></property><property><name>hbase.regionserver.thread.compaction.large</name><value>5</value></property><property><name>hbase.regionserver.thread.compaction.small</name><value>5</value></property><property><name>hbase.regionserver.thread.compaction.throttle</name><value>10737418240</value></property><property><name>hbase.rpc.timeout</name><value>300000</value></property>
</configuration>
注意：
hbase目录下的/conf/hbase-site.xml的hbase.rootdir的主机和端口号
与hadoop目录下的/conf/core-site.xml的fs.default.name的主机和端口号一致;
我这里用的是名称代理，masters（详情见3.3.2节的指定配置）,使用ip:port的同学需要注意一下。
4.5、配置region服务器
vim regionservers
内容为：
hadoop01
hadoop02
hadoop03
到这里hbase就算安装完成了，下面请将配置好的包发往其他机器吧
scp -r /home/bigData/hbase-2.0.5/ hadoop02:/home/bigData/
scp -r /home/bigData/hbase-2.0.5/ hadoop03:/home/bigData/
好吧，到这里，三个家伙算是安装、配置完成了，接下来就是启动和运行他们了。
--------------------------------------------------我是分割线----------------------------------------------------------
五、启动数据仓库
在安装完成zookeeper、hadoop、hbase后，基本的一个数据仓库框架算是搭建好了，接下来我们就是将他们启动，使之运行工作。
启动顺序有要求，必须是这样：zookeeper --> hadoop --> hbase
有同学会问了为啥一定要这样呢，那我就会建议你去看一下hadoop的工作原理，以及zookeeper和Hbase的运行机制（其实我是真的说不上来为啥，尴尬 #_#！）；
简而言之就是有个先后顺序，才会使之前做的那些改动配置生效，否则会报错。
5.1、启动zookeeper
进入zookeeper的bin目录，
执行
./zkServer.sh start (启动) || ./zkServer.sh stop (终止)
查看当前zookeeper的运行状态：
（一个leader，其余follower）
./zkServer.sh status
启动第一台后状态可能不对，不要紧张，当三台全启动后就好了。
如果状态不对，常见的原因有两个：
1、防火墙未关闭，关闭后重启zookeeper即可；
2、myid文件的值与zoo.cfg中server不匹配；
如果是阿里云的服务器的话，也有可能报xx端口监听失败，去阿里云控制台配置一下安全组，将端口开放就好了。
本想留一手，奈何心善良，看不得大家受苦
在zoo.cfg中添加一个参数，
quorumListenOnAllIPs=true
//该参数设置为true，Zookeeper服务器将监听所有可用IP地址的连接。他会影响ZAB协议和快速Leader选举协议。默认是false。
不到万不得已还是不要设置这个参数为好。
5.2、启动hadoop
第一次启动hadoop请按照如下步骤顺序执行
5.2.1、启动journalnode
hadoop01、hadoop02、hadoop03上都得执行
进入hadoop的sbin目录，
执行命令：
./hadoop-daemon.sh start journalnode
校验命令，查看进程：
jps
出现JournalNode进程。
5.2.2、格式化HDFS
注意：仅在hadoop01上执行
命令：
hdfs namenode -format （千万要自己手动敲打命令，copy会出错！！！）
格式化后,系统会在根据core-site.xml中的hadoop.tmp.dir配置的目录下生成个文件夹，这里我配置的是 /home/bigData/hadoop-2.7.5/tmp。
然后将 /home/bigData/hadoop-2.7.5/tmp这个文件夹及以下的所有东西
拷贝到hadoop02、hadoop03的 /home/bigData/hadoop-2.7.5/ 下
scp -r /home/bigData/hadoop-2.7.5/tmp/ hadoop02:/home/bigData/hadoop-2.7.5/
scp -r /home/bigData/hadoop-2.7.5/tmp/ hadoop03:/home/bigData/hadoop-2.7.5/
hadoop02作为namenode的备用，所以要在hadoop02上执行命令：
hdfs namenode –bootstrapStandby
hadoop01为active，hadoop02 为standby，当namenode1挂掉后，namenode2会自动变为active成为新的带头大哥。
5.2.3、启动ZK
注意：仅在hadoop01上执行
命令：
hdfs zkfc –formatZK
如果上面流程都对的话，这里不会有问题的，否则会报错的，各种错，嘿嘿嘿
5.2.4、启动HDFS
注意：仅在hadoop01上执行
进入hadoop安装目录sbin
命令：
./start-dfs.sh
5.2.5、启动YARN
注意：仅在hadoop01上执行
进入hadoop安装目录sbin
命令：
./start-yarn.sh
补充一句：原则上是要把namenode和resourcemanager分开的，因为他们都要占用大量资源，影响性能，所以要把他们分开，他们分开了就要分别在不同的机器上启动
sbin/start-yarn.sh
sbin/yarn-daemon.sh start resourcemanager
) 但是我这里服务器有限，所以就不分开了执行了。
5.3、hadoop启动完成校验
hadoop第一次启动步骤执行完毕，相当繁琐，哎…
不过呢，今后对于hadoop的启停只需要执行命令start-all.sh 和 stop-all.sh,不需要再操作一遍上面的流程了，开心哈☺
下让我们来校验一下：
1、使用jps查看进程
Hadoop安装完成、启动成功后应该有如下的进程，这个是我自己的服务器进程，如果服务器多于3台，master\slave不同的话，进程应该不同。
hadoop01:NameNode、DataNode、JournalNode、DFSZKFailoverController、ResourceManager、NodeManager、QuorumPeerMain
hadoop02:NameNode、DataNode、JournalNode、DFSZKFailoverController、NodeManager、QuorumPeerMain
hadoop03:DataNode、JournalNode、NodeManager、QuorumPeerMain
2、hadoop的web页面
hdfs的web页面为：http://namenode-ip:50070 ;
这里对应namenode节点的服务器，端口号在hdfs-site.xml中设置。
我这里为：
http://hadoop01:50070
（hadoop01外网访问ip：50070，页面会显示hadoop01:9000（active））
http://hadoop02:50070
（hadoop02外网访问ip：50070，页面会显示hadoop02:9000（standby））
yarn的web页面为：http://rm-ip:8088 ;
这里对应reducemap的服务器,我这里为：
http://hadoop01:8088
5.4、启动hbase
在hadoop01上执行
进入hbase的安装目录的bin目录下，
执行命令：
./start-hbase.sh
jps查看进程是否存在（HMaster、HRegionServer）
注意：在哪个主机执行start命令，则该主机为master
新版hbase默认的web界面地址为：http://master-ip:16010,旧版端口为60010
我这里为：http://hadoop01:16010
不想提起，但又不得不面对的事，万事皆有休，文章写到这里也该结束了，希望能够帮到大家，对你有用的话请留言666；写的不对的，也请您留下宝贵的意见，鼓励小弟我再接再厉。
虚拟网络让你我结缘，盼相遇市井，把酒言欢，我在金陵等你。
-----------------------------------------我是个有底线的人-----------------------------------------------------
一个专注学习技术的不正经程序猿，像一颗海草，在技术的海洋里浪啊浪~
Zookeeper+Hadoop+Hbase完全分布搭建数据仓库安装部署说明相关推荐
- Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建 一.虚拟机安装Centos7 1.准备工作 2.centos7安装过程 3.关闭防火墙(关键) 二.安装jdk ...
- Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建五(Hive篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建五(Hive篇) 七.Hive安装配置 1.准备工作 2.安装hive 全文请看:https://blog.csd ...
- Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建六(Kylin篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建六(kylin篇) 八.Kylin搭建 1.安装 2.配置环境变量 3.配置kylin 4.启动使用 5.问题 全 ...
- Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建三(zookeeper篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建三(zookeeper篇) 四.Zookeeper集群搭建 1.下载安装zookeeper安装包 2.文件配置 3 ...
- Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一(虚拟机篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一(虚拟机篇) 一.虚拟机安装Centos7 1.准备工作 2.centos7安装过程 3.关闭防火墙(关键) 二 ...
- Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建四(Hbase篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建四(Hbase篇) 五.Hbase集群搭建 1.准备工作(下载与时间同步) 2.安装解压 3.环境变量配置 4.文 ...
- Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建十一(Nginx负载均衡篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建十一(Nginx负载均衡篇) 十三.Nginx负载均衡 1.Nginx安装环境 2.编译 3.启动测试 4.ngi ...
- Hadoop伪分布式集群的安装部署
Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署 首先可以为Linux虚拟机搭建起来的最初状态做一个快照,方便后期搭建分布式集群时多台Linux虚拟机的准备. 一.如何为虚拟机做快 ...
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎：安装及运行【集群环境】
1.下载相关软件,并解压 版本号如下: (1)apache-nutch-2.3 (2) hadoop-1.2.1 (3)hbase-0.92.1 (4)solr-4.9.0 并解压至/opt/jedi ...
最新文章
- GitHub标星3w+的项目，全面了解算法和数据结构知识
- 网络化楼宇对讲的前景
- leetcod算法题--找出星型图的中心节点
- 声明及赋值_重述《Effective C++》二——构造、析构、赋值运算
- mysql 代码如何导出数据_mysql导入导出.sql数据
- boost::statechart模块实现无效结果分配测试
- matlab工具箱中draw_graph不能用的解决方案
- 配置Django实现数据库读写分离
- neutron plugin 笔记
- FB面经Prepare: Dot Product
- 不想做科技第一的金融公司，不是好的养老去处
- python 安装第三方库/包(命令/详细注释)，如安装pyinstaller库
- css完成图片预加载,图片预加载
- 请教有关网络管理的方法
- 恭喜马斯克、纳德拉当选美国工程院院士，张宏江、方岱宁入选外籍院士
- matlab——灰色预测
- 混迹职场N年后，人过中年，如何不被社会所淘汰？
- 发票扫描仪的正确打开方式
- Eclipse使用教程1
- C++:上机练习(C++实现)