Hadoop分布式集群安装
环境准备
- 操作系统使用ubuntu-16.04.2 64位
- JDK使用jdk1.8
- Hadoop使用Hadoop 2.8版本
镜像下载
操作系统
操作系统使用ubuntu-16.04.2-desktop-amd64.iso
下载地址:https://www.ubuntu.com/download/desktop
用户名:dblab 密码:welcome1>
Jdk
Jdk使用jdk-8u121-linux-x64.tar.gz
下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Hadoop
Hadoop版本:hadoop-2.8.0.tar.gz
下载地址:http://hadoop.apache.org/releases.html
Spark
Spark版本:spark-2.1.0-bin-hadoop2.7.tgz
下载地址:http://spark.apache.org/downloads.html
安装Ubuntu
- 选择启动盘
- 选择语言
- 安装更新和第三方软件
直接点击继续按钮
- 确认安装类型
选择"其他选项",点击继续
- 新建分区表
点击"新建分区表" 按钮
- 创建分区,添加交换空间和根目录
一般来说,我们选择512MB到1G大小作为交换空间,剩下空间全部用来作为根目录
选中空闲,点击"+" 按钮,创建交换空间
- 创建根目录
- 开始安装
- 选择时区
默认即可,点击"继续"
- 键盘布局
左右都选择汉语
- 设置用户名密码,密码b
- 系统自动安装
Ctrl+alt+T 打开终端,执行下面的命令
sudo apt-get install virtualbox-guest-dkms
新增用户
1、增加一个名为hadoop的用户
sudo useradd -m hadoop -s /bin/bash
这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell。
2、为hadoop用户设置密码,密码设置为hadoop
sudo passwd hadoop
3、为hadoop 用户增加管理员权限
sudo adduser hadoop sudo
4、注销当前用户返回登陆界面,再登陆界面选择刚创建的hadoop用户登陆
5、更新apt
用hadoop用户登陆后,先更新一下apt,
sudo apt-get update
6、安装vim
使用下面的命令安装vim
sudo apt-get install vim
安装SSH、配置SSH无密码登陆
Ubuntu 默认安装了SSH client ,此外还需要安装SSH server:
$ sudo apt-get install openssh-server
安装后,可以使用如下命令登陆本机:
$ ssh localhost
输入密码可以登陆到本机,我们需要配置称ssh无密码登陆比较方便
退出刚才的ssh
exit # 退出刚才的 ssh localhost
cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授权
此时ssh localhost 命令无需密码可以直接登陆
备注:
在 Linux 系统中,~ 代表的是用户的主文件夹,即 "/home/用户名" 这个目录,如你的用户名为 hadoop,则 ~ 就代表 "/home/hadoop/"。此外,命令中的 # 后面的文字是注释,只需要输入前面命令即可。
在保证了三台主机电脑都能连接到本地localhost后,还需要让master主机免密码登录slave01和slave02主机。在master执行如下命令,将master的id_rsa.pub传送给两台slave主机。
scp ~/.ssh/id_rsa.pub hadoop@slave01:/home/hadoop/
scp ~/.ssh/id_rsa.pub hadoop@slave02:/home/hadoop/
在slave01,slave02 主机上分别运行ls命令
可以看到id_rsa.pub 文件
现在将master的公钥加入各自的节点上
在master主机上通过ssh slave01 可以直接登陆到slave01上
如果master和slave01的用户名不同
还需要在master上修改~/.ssh/config文件,如果没有此文件,自己创建一个
Host master
user Hadoop
Host slave01
user hadoop01
修改hostname
查看当前主机名:
hostname
修改主机名为master
sudo vim /etc/hostname
配置hosts
sudo vim /etc/hosts
重启
安装JDK
下载jdk压缩包方式安装:
- 解压缩放到指定目录
创建目录:
sudo mkdir /usr/java
解压缩到该目录:
sudo tar -zxvf jdk-8u121-linux-x64.tar.gz -C /usr/java
- 修改环境变量
sudo vim ~/.bashrc
文件末尾追加下面内容
#set oracle jdk environment
export JAVA_HOME=/usr/java/jdk1.8.0_131 ## 这里要注意目录要换成自己解压的jdk 目录
export CLASSPATH=.:${JAVA_HOME}/lib:${JAVA_HOME}/jre/lib
export PATH=${JAVA_HOME}/bin:$PATH
使环境变量马上生效
source ~/.bashrc
- 设置默认jdk版本
- 测试jdk
Java -version
自动安装
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get insall oracle-java8-installer
安装配置spark
安装hadoop
解压缩到指定目录:
sudo tar -zxf ~/下载/hadoop-2.7.3.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.8.0/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop # 修改文件权限
- 配置环境变量
sudo vim ~/.bashrc
export HADOOP_HOME=/usr/local/hadoop-2.8.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
使配置生效
source ~/.bashrc
配置hadoop
修改core-site.xml
sudo vim /usr/local/Hadoop-2.8.0/etc/Hadoop/core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
修改hdfs-site.xml
sudo vim /usr/local/Hadoop-2.8.0/etc/Hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>Master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
修改mapred-site.xml(复制mapred-site.xml.template,再修改文件名)
cp /usr/local/Hadoop-2.8.0/etc/Hadoop/mapred-site.xml.template /usr/local/Hadoop-2.8.0/etc/Hadoop/mapred-site.xml
sudo vim /usr/local/Hadoop-2.8.0/etc/Hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
</configuration>
修改yarn-site.xml
sudo vim /usr/local/Hadoop-2.8.0/etc/Hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
修改slaves
sudo vim /usr/local/hadoop-2.8.0/etc/hadoop/slaves
配置好后,将 master 上的 /usr/local/Hadoop-2.8.0 文件夹复制到各个节点上。在 master 节点主机上执行:
- cd /usr/local
- sudo rm -r ./hadoop/tmp # 删除 Hadoop 临时文件
- sudo rm -r ./hadoop/logs/* # 删除日志文件
- tar -zcf ~/hadoop.master.tar.gz ./Hadoop-2.8.0 # 先压缩再复制
- cd ~
- scp ./hadoop.master.tar.gz Slave1:/home/hadoop
在slave01,slave02节点上执行:
- sudo rm -rf /usr/local/Hadoop-2.8.0/ #存在的目录删除
- sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local # 解压缩到指定目录
- sudo chown -R hadoop /usr/local/hadoop # 更改权限
启动hadoop集群
首次启动需要先在 Master 节点执行 NameNode 的格式化:
- hdfs namenode -format # 首次运行需要执行初始化,之后不需要
接着可以启动 hadoop 了,启动需要在 Master 节点上进行:
- start-dfs.sh
- start-yarn.sh
- mr-jobhistory-daemon.sh start historyserver
在集群环境中正确配置JAVA_HOME 后还会报如下错误:
所以要修改hadoop-env.sh 配置文件:
sudo vim /usr/local/hadoop-2.8.0/etc/hadoop/hadoop-env.sh
添加修改JAVA_HOME 信息
运行后,在master,slave01,slave02运行jps命令,查看:
Jps
启动集群后
ResourceManager运行在主节点master上,可以Web控制台查看状态, 访问如下地址:
http://master:8088/
通过登录Web控制台,查看HDFS集群状态,访问如下地址:
http://master:50070/
NodeManager运行在从节点上,可以通过Web控制台查看对应节点的资源状态,例如节点slave01:
http://slave1:8042/
安装配置spark
安装spark
从windows 将spark安装文件发布到master系统上(命令行下使用pscp命令)
D:\workspace\study\soft>pscp spark-2.1.0-bin-hadoop2.7.tar hadoop@master:~/下载
转载于:https://www.cnblogs.com/vitas/p/6811929.html
Hadoop分布式集群安装相关推荐
- Hadoop分布式集群安装在三台Ubuntu系统电脑
前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很多问题.以下是自己根据搭建Hadoop分布式集群的经验希望给新手一些帮助.当然,建议先把HDFS ...
- Hadoop分布式集群安装配置
1.1 安装环境 操作系统deepin 15.11, VMware Workstation,hadoop 3.1.3 版本.在deepin 操作系统中安装 VMware Workstation,在 V ...
- Hadoop集群安装部署_分布式集群安装_02
文章目录 一.上传与 解压 1. 上传安装包 2. 解压hadoop安装包 二.修改hadoop相关配置文件 2.1. hadoop-env.sh 2.2. core-site.xml 2.3. hd ...
- Hadoop分布式集群的安装与部署实训总结报告
目录 前言 一.Hadoop平台框介绍 1.Hadoop的架构 2.HDFS:遵循主从架构,它具有以下元素. 2.1 名称节点 -Namenode 2.2 数据节点 - Datanode 2.3 块 ...
- hadoop分布式集群搭建
hadoop集群搭建前的准备(一定要读):https://blog.51cto.com/14048416/2341450 hadoop分布式集群搭建: 1. 集群规划: 2.具体步骤: (1)上传安装 ...
- ZooKeeper伪分布式集群安装及使用
为什么80%的码农都做不了架构师?>>> ZooKeeper伪分布式集群安装及使用 让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在V ...
- HBase 1.2.6 完全分布式集群安装部署详细过程
2019独角兽企业重金招聘Python工程师标准>>> Apache HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,是NoSQL数据库,基于Google Big ...
- 【转】Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04
https://www.cnblogs.com/caiyisen/p/7373512.html 前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很 ...
- Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04
前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很多问题.以下是自己根据搭建Hadoop分布式集群的经验希望给新手一些帮助.当然,建议先把HDFS ...
最新文章
- MySQL基础篇(04):存储过程和视图,用法和特性详解
- CSS从大图中抠取小图完整教程(background-position应用)【转】
- VB获取系统目录的简单方法
- OpenAI公布强化学习新算法,可控制复杂机器人
- IT职业生涯中的必修课
- Linux - Ubuntu Server基础
- C语言按位取反~的简单理解
- ps5手柄连接android,PS5游戏手柄甚至可以兼容安卓设备?这一次有的玩了
- 笔记本不显示计算机图标,笔记本电脑开机后不显示桌面图标或任务栏怎么解决...
- 实验四:《操作系统》之管道通信
- P68-70 王者荣耀
- 朗道十卷《力学》笔记(更新中)
- ppt python 图表_利用python分析weibo数据做成图表放入PPT中
- 【2022年法定工作日,周末,节假日类型使用Java存入sql】
- 习惯七 不断更新---平衡的自我提升原则
- centOS下tar: bzip2: Cannot exec: No such file or directo
- LatexVScode 报错I found no bibdata command//command//citation—while reading file*.aux
- origin画图工具使用
- 李飞飞、邓中翰等七位华人学者当选2020美国工程院院士!
- php yii2 sns,GitHub - szhsh/iisns: 基于 yii2 的 sns 社区系统,一站式解决社区建站