Docker部署hadoop

Docker部署hadoop集群

一、环境准备
二、安装并启动Docker
三、配置hadoop
四、启动hadoop集群
五、关闭hadoop集群
六、卸载Docker

一、环境准备

操作系统：Centos7.9

二、安装并启动Docker

安装

方法一：从阿里云镜像获取安装包

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

方法二：从docker官方获取安装包

 sudo yum install -y yum-utilssudo yum-config-manager \--add-repo \https://download.docker.com/linux/centos/docker-ce.repo

建议使用方法一安装过程较快

获取到安装包以后开始安装

yum install -y docker-ce docker-ce-cli containerd.io

安装完成以后可输入docker version验证docker是否安装成功
如果出现
Client: Docker Engine - Community
Version: 20.10.12
API version: 1.41
Go version: go1.16.12
Git commit: e91ed57
Built: Mon Dec 13 11:45:41 2021
OS/Arch: linux/amd64
Context: default
Experimental: true
Server: Docker Engine - Community
Engine:
Version: 20.10.12
API version: 1.41 (minimum version 1.12)
Go version: go1.16.12
Git commit: 459d0df
Built: Mon Dec 13 11:44:05 2021
OS/Arch: linux/amd64
Experimental: false
containerd:
Version: 1.4.12
GitCommit: 7b11cfaabd73bb80907dd23182b9347b4245eb5d
runc:
Version: 1.0.2
GitCommit: v1.0.2-0-g52b36a2
docker-init:
Version: 0.19.0
GitCommit: de40ad0
表示安装成功

启动

sudo systemctl start docker

三、配置hadoop

下载doker下的hadoop

docker pull kiwenlau/hadoop1.0

在docker中搭建网络

docker network create –d=bridge hadoop

创建hadoop-master容器

docker run -itd \
--net=hadoop \
--name hadoop-cluster1 \
--hostname haddoop-master \
-p 50070:50070 \
-p 9000:9000 \
-p 8088:8088 \
kiwenlau/hadoop1.0

创建hadoop-slave1容器

docker run -itd \
--net=hadoop \
--name hadoop-cluster2 \
--hostname haddoop-slave1 \
kiwenlau/hadoop1.0

创建hadoop-slave2容器

docker run -itd \
--net=hadoop \
--name hadoop-cluster3 \
--hostname haddoop-slave2 \
kiwenlau/hadoop1.0

四、启动hadoop集群

进入hadoop-master容器

docker exec -it hadoop-master bash

启动hadoop集群

./start-hadoop.sh

使用jps命令查看启动的服务

root@hadoop-master:~# jps
1549 SecondaryNameNode
1356 NameNode
8098 Jps
1705 ResourceManager

五、关闭hadoop集群

使用exit可以退出当前容器的命令窗口
```
 exit
```
此时hadoop容器仍会在后台继续运行
root@hadoop-master:~# exit
exit
[root@qh ~]#
退出容器命令窗口后可使用docker stop hadoop-master命令停止容器，停止后容器不再运行

[root@qh ~]# docker stop hadoop-master
可使用docker ps命令查看所有容器的运行情况

[root@qh ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
5927d483b848 a59a34125272 “sh -c 'service ssh …” 2 days ago Up 2 days hadoop-slave1
290b68fef58d a59a34125272 “sh -c 'service ssh …” 2 days ago Up 2 days hadoop-slave2
785a90585d6b a59a34125272 “sh -c 'service ssh …” 2 days ago Stop 5 seconds ago 0.0.0.0:8088->8088/tcp, :::8088->8088/tcp, 0.0.0.0:9000->9000/tcp, :::9000->9000/tcp, 0.0.0.0:50070->50070/tcp, :::50070->50070/tcp hadoop-master
可见hadoop-master已经停止

六、卸载Docker

卸载 Docker软件包

 sudo yum remove docker-ce docker-ce-cli containerd.io

卸载docker后，主机上的容器等一系列文件不会自动删除，删除所有docker有关文件可用：

 sudo rm -rf /var/lib/dockersudo rm -rf /var/lib/containerd

Docker部署hadoop相关推荐

使用Docker部署Hadoop
使用Docker部署Hadoop 拉取一个`CentOS`镜像作为`Hadoop`运行配置`Java`与`SSH`环境创建容器进入容器配置镜像下载阿里云镜像配置修改配置文件重置缓存安装 ...
hadoop集群_使用docker部署hadoop集群
0. 写在前面网上也已经有很多教程了,但是其中都有不少坑,在此记录一下自己安装的过程. 目标:使用docker搭建一个一主两从三台机器的hadoop2.7.7版本的集群准备: 首先要有一台内存8G ...
[零基础]用docker搭建Hadoop集群
目录前言:为什么要用docker搭建Hadoop集群? 准备:下载VMware.VMwareTools(或Xftp.Xshell).Ubuntu或者CentOS映像文件.Hadoop和jdk压缩包 ...
Hadoop环境搭建--Docker完全分布式部署Hadoop环境（菜鸟采坑吐血整理）
系统:Centos 7,内核版本3.10 本文介绍如何从0利用Docker搭建Hadoop环境,制作的镜像文件已经分享,也可以直接使用制作好的镜像文件. 一.宿主机准备工作 0.宿主机(Centos7 ...
使用docker搭建Hadoop
Hadoop简介 1.Hadoop的整体框架 Hadoop由HDFS.MapReduce.HBase.Hive和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的 ...
上线项目 Docker部署项目到服务器总结
文章目录 Docker简介 Docker为什么出现? 安装Docker 阿里云镜像加速找到镜像加速器配置使用回顾HelloWorld流程底层原理 Docker的常用命令部署项目 1.安装do ...
【Docker x Hadoop】使用 Docker 搭建 Hadoop 集群（从零开始保姆级）
-- 步骤 -- 0. 背景 1. 创建出第一个容器 2. 为该容器配置 java 和 hadoop 环境 3. 配置允许外界通过 ssh 连接容器 4. 由该容器克隆出多个容器 5. 为各个容器配置 ...
浅谈在centos中使用docker部署war包项目（jsp篇）
在centos中使用docker部署war包项目(jsp篇) 一.环境的准备二.Docker优点 1.简化程序 2.避免选择恐惧症 3.节省开支三.Docker结构 1.Client( Doc ...
图片服务器部署（docker部署和分离部署）
FastDFS介绍 1.简介 FastDFS 是一个开源的高性能分布式文件系统(Distributed File System). 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载 ...

Docker部署hadoop

Docker部署hadoop集群

一、环境准备

二、安装并启动Docker

三、配置hadoop

四、启动hadoop集群

五、关闭hadoop集群

六、卸载Docker

Docker部署hadoop相关推荐

最新文章

热门文章

Docker部署hadoop

Docker部署hadoop集群

一、环境准备

二、安装并启动Docker

三、 配置hadoop

四、启动hadoop集群

五、关闭hadoop集群

六、卸载Docker

Docker部署hadoop相关推荐

最新文章

热门文章

三、配置hadoop