阅读须知
最小安装（可跳）
安装VMware Tool（可直接安装）
关闭防火墙和Selinux
安装docker
迁移docker安装目录
docker安装CentOS 7
安装必要工具
安装Java和Scala
安装Hadoop
编写脚本
启动集群
Windows连接容器
测试集群
关闭集群
编写快速启动容器脚本
安装MySQL
安装Hive
安装ZooKeeper
安装Kafka
安装Spark
安装PostgreSQL
动态添加端口映射
遇到的问题
附录：常见框架端口
参考博客

阅读须知

为什么用 docker 搭建 hadoop 集群呢？虚拟机超级超级慢，一开始可以带三台虚拟机，慢慢的连一台都慢死了。一怒之下干脆从零再用 docker 搭一个集群算了。除了开始的一些步骤图形化界面是不用操作的，接下来的操作都一样，大部分坑我都走了，好多操作我都从头执行了好几遍，直接复制即可。

虚拟机-Linux-CentOS 7吐血安装Hadoop2.9.2搭建集群教程（详细图解）

本博客采用最小安装。一开始我是安装了图形化界面（KDE），由于在 docker 里面不能直接使用 systemctl，如果直接 docker run 会报错：Failed to get D-Bus connection: Operation not permitted。解决方法是在创建容器时加上 --privileged 和 /usr/sbin/init。但是我只要一执行就会跳出图形化界面，进入一个命令行界面，然后就回不去了！！！我以为是 CentOS 版本的问题，用最新版也一样，这个问题困扰了我好久都没解决。一怒之下干脆不要图形化界面了，直接最小安装算了，还没这么卡。但是还是会跳转界面，后来我直接用 XShell 控制虚拟机，懒得看它了。
像 Java、Scala、Hadoop、Hive、Spark 这些东西都是从官网下个 tar 包，再继续操作。所以需要用到共享文件夹。
集群配置，所以弄三个容器

-	master	slave1	slave2
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
Yarn	NodeManager	ResourceManager NodeManager	NodeManager

过程中适当拍摄快照
每一步都很关键！！！

Ctrl C + Ctrl V 走起

VM虚拟机 - Docker - CentOS 7 - 快速使用Docker从零搭建Hadoop完全分布式集群详细教程（亲测有效，※吐血推荐※）（内含快速启动容器脚本）相关推荐

『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现...
『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现 1.基本设定和软件版本主机名 ip 对应角色 mas ...
搭建Hadoop完全分布式集群（三台虚拟机）
经常查阅资料搭建Hadoop集群进行hadoop生态组件的学习,于是打算自己做一套完整的资料,方便以后查阅. 一.模板机准备 1.安装虚拟机模板机安装前置工作. 2.三处ip配置第一处:虚拟机ip ...
大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程
hadoop完全分布式集群搭建一.搭建准备 1.安装VMware虚拟机 2.Xshell 7 远程客户端及Xftp 7安装 3.搭建模板虚拟机hadoop100 配置虚拟机网络为虚拟机普通用户配置 ...
Ubuntu18.04+Docker+Hadoop+Spark分布式集群搭建
题前记:因为课程需求,下面将搭建过程用学术论文的格式写.(其实我并不想写的,没办法,学习作业嘛QAQ...) 我的联系方式:630056108 文章目录 Docker上的Hadoop大数据平台搭建与测 ...
一文快速学会hadoop完全分布式集群搭建，很详细
文章目录前言一.准备工作二.克隆三台虚拟机并进行网络配置克隆虚拟机克隆引导修改网络配置验证验证方式一验证方式二三.安装jdk和hadoop 四.ssh免密登录配置概述生成公钥和 ...
基于CentOs下的Hadoop完全分布式集群环境搭建
Hadoop配置一.准备工作 1.下载虚拟机,安装centos 在VM中新建4台虚拟机(内存建议2-4G) VMware14下载提取码:e6dn centos6.8和centos7下载提取码:4 ...
VM虚拟机安装CentOS系统的常见BUG
第一步:通过VM虚拟机安装CentOS系统推荐参考https://www.runoob.com/w3cnote/vmware-install-centos7.html 和https://blog.c ...
基于VM虚拟机的CENTOS 系统网络配置
一前言近期在VM虚拟机中安装了CENTOS系统,系统无法上网,查阅了众多资料,今天结合本机的设置过程,重写一篇较全的<基于VM虚拟机的CENTOS 系统网络配置>技术文章. 二查看本 ...
docker下，一行命令搭建elasticsearch6.5.0集群(带head插件和ik分词器)
docker下,一行命令搭建elasticsearch6.5.0集群(带head插件和ik分词器) 2019年01月27日 21:06:12 博陵精骑阅读数:794 标签: dockerelasti ...

VM虚拟机 - Docker - CentOS 7 - 快速使用Docker从零搭建Hadoop完全分布式集群详细教程（亲测有效，※吐血推荐※）（内含快速启动容器脚本）

目录

阅读须知

VM虚拟机 - Docker - CentOS 7 - 快速使用Docker从零搭建Hadoop完全分布式集群详细教程（亲测有效，※吐血推荐※）（内含快速启动容器脚本）相关推荐

最新文章

热门文章