Docker搭建hadoop集群

2024-06-04 18:12:41

参考https://github.com/kiwenlau/hadoop-cluster-docker/blob/master/start-container.sh

因为之前在VMware上操作Hadoop时发现资源消耗大，配置麻烦，所以思考能不能使用docker搭建Hadoop集群，感谢上面链接的大神弄的集群镜像，所以很快就能搭建出Hadoop3节点集群。我使用的是windows下dockerTool安装启动vagrant、vitrualbox

3节点Hadoop集群搭建步骤

1. 拉取镜像

docker pull index.alauda.cn/kiwenlau/hadoop-master:0.1.0

docker pull index.alauda.cn/kiwenlau/hadoop-slave:0.1.0

docker pull index.alauda.cn/kiwenlau/hadoop-base:0.1.0

docker pull index.alauda.cn/kiwenlau/serf-dnsmasq:0.1.0

查看下载的镜像

sudo docker images

hadoop-base镜像是基于serf-dnsmasq镜像的，hadoop-slave镜像和hadoop-master镜像都是基于hadoop-base镜像

所以其实4个镜像一共也就777.4MB:)

2. 修改镜像tag

docker tag 8bd95b13fdc9 kiwenlau/hadoop-slave:0.1.0 docker tag 5da529a7093a kiwenlau/hadoop-master:0.1.0

docker tag 2017db7bb9af kiwenlau/hadoop-base:0.1.0

docker tag 94c74018c36d kiwenlau/serf-dnsmasq:0.1.0

查看修改tag后镜像

docker images

3.下载源代码

git clone https://github.com/kiwenlau/hadoop-cluster-docker

(git clone http://git.oschina.net/kiwenlau/hadoop-cluster-docker)

4. 运行容器

cd hadoop-cluster-docker

./start-container.sh

一共开启了3个容器，1个master, 2个slave

开启容器后就进入了master容器root用户的家目录（/root）

查看master的root用户家目录的文件

ls

5.测试容器是否正常启动(此时已进入master容器)

查看hadoop集群成员

serf members

运行结果

若结果缺少节点，可以稍等片刻，再执行"serf members"命令。因为serf agent需要时间发现所有节点。

测试ssh

ssh slave2.kiwenlau.com

6. 开启hadoop

./start-hadoop.sh

hadoop的启动速度取决于机器性能....vitrualbox太慢了

6.运行单词计数

.

./run-wordcount.sh

使用内存3G才跑得出来，集群的资源消耗很大

转载于:https://www.cnblogs.com/liuyifeng/p/5383076.html

Docker搭建hadoop集群相关推荐

Docker学习七：使用docker搭建Hadoop集群
本博客简单分享了如何在Docker上搭建Hadoop集群,我的电脑是Ubuntu20,听同学说wsl2有些命令不对,所以建议在虚拟机里按照Ubuntu或者直接安装双系统吧 Docker学习一:Dock ...
[零基础]用docker搭建Hadoop集群
目录前言:为什么要用docker搭建Hadoop集群? 准备:下载VMware.VMwareTools(或Xftp.Xshell).Ubuntu或者CentOS映像文件.Hadoop和jdk压缩包 ...
docker 安装oracle_阿里云使用Docker搭建Hadoop集群
摘要吐血整理,搭建了两遍,亲测可用!!! 我买的是阿里云2C4G的服务器,使用的是CentOS 7.7版本.在搭建过程中踩了不少坑,本篇文章希望对大家有用 CentOS 7.7安装Docker 查看 ...
【Docker x Hadoop】使用 Docker 搭建 Hadoop 集群（从零开始保姆级）
-- 步骤 -- 0. 背景 1. 创建出第一个容器 2. 为该容器配置 java 和 hadoop 环境 3. 配置允许外界通过 ssh 连接容器 4. 由该容器克隆出多个容器 5. 为各个容器配置 ...
使用Docker搭建hadoop集群
1.获取镜像 lcc@lcc ~$ docker pull registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop Using default tag: late ...
基于docker的hadoop集群搭建
最近想学习如何使用hdfs来存储文件,在网上学习了一下,明确了HDFS(Hadoop Distribute File System 分布式存储).mapReduce(分布式计算).YARN(Yet A ...
【大数据实战】Docker中Hadoop集群搭建
目录 Docker中Hadoop集群搭建环境网络设置安装docker 安装OpenSSH免密登录 Ansible安装软件环境配置配置hadoop运行所需配置文件 Hadoop 启动问题 D ...
Hadoop(二)搭建Hadoop集群
在了解Hadoo基础之后,借助于docker快速实现虚拟化,搭建Hadoop集群,进一步了解Hadoop,实地测试,实地操作,更进一步的了解Hadoop. 首先需要了解Hadoop的各个模块概念已经功 ...
利用docker搭建服务器集群并部署大数据生态软件
1.集群搭建与配置本来想使用centos镜像搭建服务器集群,但最小化安装版的镜像也需要1G左右,如果后面再部署一些大数据软件,单是多台服务器环境部署就会占用大量空间,加上此版本镜像在不同电脑环境的安 ...

最新文章

热门文章