Docker安装Hadoop
一、概述
形成了安装有vim、jdk、ssh的centos镜像,现在我们在这个的基础上继续搭建haoop。
在正式开始前,了解一些docker容器的操作命令
docker ps:查看活动的容器
docker ps -a:查看所有的容器(包括终止状态的)
docker images:查看镜像
docker run:基于镜像新建一个容器
docker container start 容器id:启动已经终止的容器,但不会进入容器,容器在后台执行
docker container stop 容器id:终止容器
docker container rm 容器id:删除终止状态的容器
docker image rm 镜像id:删除镜像
进入容器有两个命令:attach和exec
docker attach 容器id:进入容器,使用exit退出时,容器会终止
docker exec -it 容器id bash:进入容器,使用exit退出时,容器不会终止(推荐)
二、安装Hadoop
以之前保存的centos_basic 镜像新建一个名为hadoop1的容器,容器中是centos系统,主机名为 hadoop1。
[docker@bigdata ~]$ docker run -it -v /home/docker/build:/root/build --privileged -h hadoop1 --name hadoop1 centos_basic /bin/bash
打开一个新的终端输入命令docker ps查看开启的名为hadoop1的容器
开启系统之后,我们把下载下来的Hadoop安装文件放到共享目录/home/hadoop/build下面,然后在Docker内部centos系统的/root/build目录即可获取到Hadoop安装文件;在Docker内部的CentOS系统安装Hadoop和本地安装一样
放好Hadoop的安装文件后,进入Docker内部centos系统的/root/build目录,解压压缩包
[root@hadoop1 build]# tar -zxvf hadoop-2.7.5.tar.gz -C /root/apps/
具体的安装可以参考http://www.cnblogs.com/qingyunzong/p/8634335.html
三、保存镜像
基于已有的docker容器,做一新的dokcer image.
$ docker commit <container_id> <image_name>
另开一个窗口
举例:
四、搭建基于docker的hadoop集群
开启三个新的终端。然后基于centos/zk_hadoop镜像,创建三个容器,容器名分别为spark1、spark2和spark3
[docker@bigdata ~]$ docker run -it -v /home/docker/build:/root/build --privileged -h spark1 --name spark1 centos/zk_hadoop /bin/bash
[docker@bigdata ~]$ docker run -it -v /home/docker/build:/root/build --privileged -h spark1 --name spark1 centos/zk_hadoop /bin/bash
[docker@bigdata ~]$ docker run -it -v /home/docker/build:/root/build --privileged -h spark3 --name spark3 centos/zk_hadoop /bin/bash
在每个容器主机中开启ssh服务
用ssh localhost 查看ssh服务是否开启成功
/etc/hosts修改本机的ip和主机名信息
[root@spark3 ~]# vi /etc/hosts
可以用如下命令来检测下是否spark1是否可以连上spark2和spark3
修改zookeeper的变化spark2和spark3修改为2和3
[root@spark1 ~]# vi data/zkdata/myid
创建hadoop的数据目录
[root@spark3 ~]# mkdir -p /root/data/hadoopdata/dfs/name [root@spark3 ~]# mkdir -p /root/data/hadoopdata/dfs/data
启动zookeeper
在你配置的各个journalnode节点启动该进程
格式化namenode
[root@spark1 ~]# hadoop namenode -format
Docker安装Hadoop相关推荐
- Docker系列七安装私人云盘
前言 第三次更新: 后来拥有了一个群晖做为个人云盘,效果也不错,后来就没有继续捣鼓了. 第二次更新: 后来发现nextcloud会有要通过不被信任的域名访问的问题,于是重新修改了一遍. 我要在自己的云 ...
- Docker系列(一)安装
操作系统版本:Centos7 Docker版本:1.8 设置安装源 1 cat > /etc/yum.repos.d/docker.repo << -EOF 2 [dockerr ...
- docker系列之安装配置-2
1.docker安装 1.CentOS Docker 安装 Docker支持以下的CentOS版本: CentOS 7 (64-bit) CentOS 6.5 (64-bit) 或更高的版本 目前,C ...
- 小丸子学Docker系列之——安装Docker及基本命令的使用
环境要求: 在Centos7.x上安装docker官方要求内核至少是3.10 1.查看内核和操作系统版本 [root@docker-machine ~]# uname -r 3.10.0-327.el ...
- 黑群晖折腾之docker系列之安装宝塔面板
rt,有了一个黑群晖,除了用来给小姐姐安置一个家就完了?不可能,必须物尽其用,用来搭建一个网站也行,后续继续研究还能做什么,反正不可能就是安置小姐姐的家那么简单. 首先登录黑群晖的web管理界面,套件 ...
- Docker系列---docker cgroup资源管理 | TLS通讯加密 | 详细讲解
Cgroup 前言 - Cgroup 一.对 CPU 的控制 1.使用 stress 工具测试 2.限制 CPU 使用周期速率 3.多任务比例分享 CPU 4.限制 CPU 内核使用 二.对内存使用的 ...
- 【IT之路】Docker系列-Docker容器下载、使用示例
1.在指定容器执行操作(这里使用的是ubuntu 15.10版本容器,如果当前没有这个容器,会自动从网上下载) 指定容器执行echo命令,输出"Hello world" 各个参数解 ...
- Docker在Centos7安装、及命令(详细安装教程)
Docker在Centos7安装.及命令(详细安装教程) 为什么使用Docker Docker中包括三个基本概念 Docker安装 Docker获取镜像 使用刚刚获取的centos镜像,创建一个容器, ...
- 《Docker系列》Docker安装Hadoop集群
1 安装docker 1.1 添加docker到yum源 ## 1.安装 [root@hadoop ~]# yum-config-manager --add-repo http://mirrors.a ...
- 《Docker系列》Docker安装Hadoop
docker安装Hadoop 1 安装docker 1.1 添加docker到yum源 ## 1.安装 [root@hadoop ~]# yum-config-manager --add-repo h ...
最新文章
- Python实现一元及多元线性回归
- 成功的前提,35岁前必须做好的十件事
- setTimeout 和 setInterval
- linux 中配置假域名来测试
- 第六十七期:Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手
- 一文学搞懂阿里开源的微服务新贵Nacos!
- canvas浅谈 实现简单的自旋转下落
- 算法第四版课后习题答案 西安电子科技大学 计算机学院 算法课
- 基于cpolar内网穿透工具ssh远程访问linux服务器
- 使用Mockito创建Mcok和Spy
- 给中国学生的第七封信:21世纪最需要的7种人才(李开复)
- N卡版本查询--Windows命令下:
- 元宇宙营业厅,数字技术融合,赋能实体经济
- 图解迪士尼发展史:华特·迪士尼建立的动画王国
- python opencv 图像大小_python使用OpenCV设置图片尺寸
- 如何彻底清除2345导航,从浏览器快捷方式,注册表,添加hosts限制三个方面进行修正
- BMS养殖后台管理系统开发文档
- 乱花渐欲迷人眼的C编译器中,谁才是“编译之王”?
- 第九章 C#界面设计 主菜单
- Unity3D占用内存详细解答