最新hadoop+hbase+spark+zookeeper环境安装(vmmare下)
说明:我这里安装的版本是hadoop2.7.3,hbase1.2.4,spark2.0.2,zookeeper3.4.9 (安装包:链接:http://pan.baidu.com/s/1c25hI4g 密码:hbr1)
1.安装vmmare,创建3台虚拟机名字为hadoop1,hadoop2,hadoop3,都是centos6.5操作系统,网络选择桥接模式如图
2.创建完虚拟机后,启动虚拟机,然后运行ifconfig发现eth0网卡没有,这时不用急,去这个目录下找到ifcfg-eth0文件,然后修改ONBOOT=yes,如图,然后重启服务service network restart,然后再运行ifconfig发现eth0有了ip地址也有了,好ok,这时候你就可以用主机连接虚拟机操作了(个人建议用xshell工具好用)
3.安装jdk,将jdk-8u11-linux-x64.tar上传到虚拟机/home/hf(个人用户的文件夹),然后解压,然后将文件copy到/usr/java目录下,如图,接着配置环境变量在/etc/profile文件中添加如下几行,如图,可以忽略 $HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/zookeeper/bin:/usr/hbase/bin:这个,这个是后边hadoop相关的环境变量,这里还用不到,然后运行source /etc/profile使环境变量生效,运行java -version出现java版本等信息表明jdk已经安装好了
4.配置ssh免密码登录,首先修改/etc/hosts,修改为以下内容,注意ip要根据实际ip来
然后配置免密码先在hadoop1上执行
一.ssh-keygen -t rsa
二.ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop2和ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop3
其余两台机器类似
5.安装hadoop,解压hadoop安装包,放到/usr/hadoop目录下,如图,然后配置hadoop相关文件。
首先配置/usr/hadoop/etc/hadoop/core.site.xml
<property><name>fs.defaultFS</name>//namenode的地址<value>hdfs://hadoop1:9000</value> </property><property><name>io.file.buffer.size</name><value>131072</value> </property> <property><name>hadoop.tmp.dir</name><value>file:/home/tmp</value> </property>
配置/usr/hadoop/etc/hadoop/hdfs.site.xml
<property><name>dfs.namenode.name.dir</name> //namenode数据存放地址<value>file:/home/hadoop/namenode</value> </property> <property><name>dfs.datanode.data.dir</name> //datanode数据存放地址<value>file:/home/hadoop/datanode</value> </property> <property><name>dfs.replication</name> //副本<value>2</value> </property>
配置/usr/hadoop/etc/hadoop/mapred-site.xml
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
配置/usr/hadoop/etc/hadoop/yarn-site.xml
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>hadoop1:8031</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>hadoop1:8030</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>hadoop1:8032</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> //yarn的界面 <value>hadoop1:8088</value> </property>
配置/usr/hadoop/etc/hadoop/slaver,加入3台机器的hostname
hadoop2 hadoop3 hadoop1
配置/usr/hadoop/etc/hadoop/yarn-env.sh,找到相应行修改为JAVA=$JAVA_HOME/bin/java
然后/etc/profile修改一开始已经列出,这里就不列了,hadoop已经安装好了
先运行hadoop namenode -format 格式化,然后用start-all.sh来启动hadoop集群了,主节点有namenode,从节点有datanode表明正常
6.安装zookeeper和hbase
先安装zookeeper,先解压到/usr/zookeeper下,然后配置/usr/zookeeper/conf/zoo.cfg文件,配置如下
tickTime=2000 dataDir=/var/log/zookeeper clientPort=2181 initLimit=5 syncLimit=2 server.1=hadoop1:2888:3888 server.2=hadoop2:2888:3888 server.3=hadoop3:2888:3888
在/var/log/zookeeper下创建myid文件写入1或2或3,hadoop1机器的话写1,hadoop2机器的话写2,hadoop3机器的话写3
分别启动zk,命令./usr/zookeeper/bin/zkServer start,看下是否正常
安装hbase,解压hbase到/usr/hbase
配置/usr/hbase/conf/hbase-site.xml
<name>hbase.rootdir</name><value>hdfs://hadoop1:9000/hbase</value> </property> <property><name>hbase.zookeeper.quorum</name><value>hadoop1,hadoop2,hadoop3</value> </property> <property><name>hbase.zookeeper.property.dataDir</name><value>/var/log/zookeeper</value> </property> <property><name>hbase.cluster.distributed</name><value>true</value>
配置/usr/hbase/conf/hbase-env.xml,修改
export JAVA_HOME=/usr/java/jdk1.8.0_11/
export HBASE_MANAGES_ZK=false
配置/usr/hbase/conf/regionservers添加
hadoop1
hadoop2
hadoop3
就可以启动hbase了,要先启动hadoop和zk才能启动hbase,命令start-hbase.sh,看各节点的进程,jps -l,主节点有hmaster,从节点有hregionserver,这样表示正常
7.spark安装
首新解压spark到/usr/saprk,然后修改/usr/spark/conf/spark-env.sh文件,添加或覆盖
export HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop
配置slaves,添加
hadoop1
hadoop2
hadoop3
好了至此环境都搭建好了,首先起hadoop再zk再hbase。
(安装包:链接:http://pan.baidu.com/s/1c25hI4g 密码:hbr1)
转载于:https://www.cnblogs.com/huafei/p/6085526.html
最新hadoop+hbase+spark+zookeeper环境安装(vmmare下)相关推荐
- 阿里大数据面试题集合:Hadoop+HBase+Spark+Zookeeper
附面试思维导图: Hadoop面试题 讲述HDFS上传文件和读文件的流程? HDFS在上传文件的时候,如果其中一个块突然损坏了怎么办? NameNode的作用? 4.NameNode在启动的时候会做哪 ...
- 03 大数据hadoop发展简史及环境安装
文章目录 大数据hadoop发展简史及环境安装 1.hadoop的介绍以及发展历史 2.hadoop的历史版本介绍 3.hadoop三大公司发型版本介绍 3.1免费开源版本apache: 3.2免费开 ...
- 基于Hadoop的Spark超快安装
文章目录 前言 一.Spark的安装 总结 前言 基于Hadoop的Spark超快安装 一.Spark的安装 待Hadoop安装好之后,我们再开始安装Spark. 我选择的是Spark 2.4.8 版 ...
- Hadoop教程(二)Hadoop伪集群环境安装
Hadoop教程(二)Hadoop伪集群环境安装 本文链接:https://blog.csdn.net/yuan_xw/article/details/50039325 Hadoop教程(二)Hado ...
- 1.1.Perl环境安装-Windows下环境安装
Perl环境安装-Windows下环境安装 B站视频教程: 菜鸟学生信 一.Perl软件下载安装 下载:https://strawberryperl.com/releases.html 安装:解压即可 ...
- Hadoop集群搭建(四:Zookeeper环境安装)
实验 目的 要求 目的: 1.掌握在完全分布模式的整合平台中Zookeeper的完全分布模式的安装 要求: 完成Zookeeper的完全分布农事的安装: Zookeeper服务能够正常启动和连接: Z ...
- Hadoop,Hbase伪集群安装步骤
Hbase和Hadoop和jdk版本一定要对应,不然很容易出错 Hbase和jdk版本对应关系 Java Version HBase 1.3+ HBase 2.1+ HBase 2.3+ JDK7 支 ...
- 搭建hadoop和spark分布式环境
root权限密码:本机<15 Ubuntu的密码是:204 Spark的分布环境需要基于HDFS,所以在装spark之前我们需要先配置hadoop分布式系统: 1.实验做啥: 基本:配置完成ha ...
- Zookeeper环境安装
源码包下载: http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10 集群环境: master 192.168.1.99 slave1 19 ...
- Ubuntu18.04环境下Hadoop、Spark的环境的搭建
一路学习不容易,感谢所有帮助我的人. 记录自用: Hadoop:https://blog.csdn.net/weixin_42001089/article/details/81865101 Spark ...
最新文章
- Python核心模块——urllib模块
- MySQL优化篇:SQL优化流程
- Nginx+Tomcat动静分离及Nginx优化(企业案例)
- 涨姿势了,raise...from... 是个什么操作?
- 西门子rwd60参数设置调试手册_西门子控制器RWD60
- javaWeb服务详解(含源代码,测试通过,注释) ——applicationContext.xml
- shell从小做起:将100以内整除3的数列出来
- mysql explain字段含义_史上最全的explain常见结果含义分析,值得收藏
- STL11-stack容器
- 跨浏览器resize事件分析
- 火山安卓全屏侧滑布局器使用教程
- 数学建模:排队论模型
- android四级联动机制,小程序四级联动(wepy)
- IIC扩展IO NCA9555代码
- html鼠标移动到文字改变样式,css实现鼠标滑过改变文字(中文变英文)
- 合作共赢,共同飞跃 | DDG一站式数字化转型集成解决方案正式发布
- 户外移动电源如何选择更安全?
- (七)通过pygame来设置飞机大战中 敌机 的速度、位置等
- 华为鸿蒙官网商城,再见安卓!鸿蒙版京东App上架华为商城:正式版最快6月见...
- 【计算机基础】计算机网络
热门文章
- 【BZOJ】1176: [Balkan2007]Mokia(cdq分治)
- python之6-1常用函数
- CMD窗口居中的方法(转)
- 用js控制网页播放器
- VSZ、RSS、Pss的区别和含义
- 如何理解Stand SPI Dual SPI 和Quad SPI
- JAVA小白启蒙篇:第一个SSM框架搭建示例(附源码下载)
- linux调度器(六)——应用层理解CFS及组调度
- 水下清淤机器人_国产第五代箱涵清淤机器人真机亮相上海城市管网展恒通环境展位...
- 计算机周杰伦谱子,我好想要周杰伦稻香的电脑键盘钢琴琴谱br/请问哪位大侠知道的? 爱问知识人...