docker 安装oracle_阿里云使用Docker搭建Hadoop集群
摘要
吐血整理,搭建了两遍,亲测可用!!!
我买的是阿里云2C4G的服务器,使用的是CentOS 7.7版本。在搭建过程中踩了不少坑,本篇文章希望对大家有用
CentOS 7.7安装Docker
查看内核版本(使用root用户登陆)
uname -a
把yum包更新到最新
yum update
安装需要的软件包
yum install -y yum-utils device-mapper-persistent-data lvm2
设置yum源
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
创建目录
cd /mntmkdir docker cd docker
可以查看所有仓库中所有docker版本,并选择特定版本安装
yum list docker-ce --showduplicates | sort -r
安装Docker,命令:yum install docker-ce-版本号
yum install docker-ce-18.06.3.ce
启动并加入开机启动
systemctl start dockersystemctl enable docker
验证安装是否成功(有client和service两部分表示docker安装启动都成功了)
docker version
Ubuntu 18.04 安装Docker
创建目录
cd /mntmkdir docker cd docker
下载
wget https://mirrors.aliyun.com/docker-ce/linux/ubuntu/dists/bionic/pool/stable/amd64/containerd.io_1.2.6-3_amd64.debwget https://mirrors.aliyun.com/docker-ce/linux/ubuntu/dists/bionic/pool/stable/amd64/docker-ce-cli_19.03.9~3-0~ubuntu-bionic_amd64.debwget https://mirrors.aliyun.com/docker-ce/linux/ubuntu/dists/bionic/pool/stable/amd64/docker-ce_19.03.9~3-0~ubuntu-bionic_amd64.deb
安装
sudo dpkg -i *.deb
启动
service docker start
生成服务器、Hadoop镜像
获取centos7镜像
docker pull centos
查看镜像列表
docker images
安装SSH
cd /mnt/dockermkdir sshcd sshvi Dockerfile
内容
FROM centosMAINTAINER dysRUN yum install -y openssh-server sudoRUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_configRUN yum install -y openssh-clientsRUN echo "root:1234" | chpasswdRUN echo "root ALL=(ALL) ALL" >> /etc/sudoersRUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_keyRUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_keyRUN mkdir /var/run/sshdEXPOSE 22CMD ["/usr/sbin/sshd", "-D"]
保存并退出
执行构建镜像的命令,新镜像命名为 centos7-ssh
docker build -t="centos7-ssh" .
基于 centos7-ssh 这个镜像启动三个容器
docker run -d --name=centos7.ssh centos7-sshdocker run -d --name=centos7.ssh2 centos7-sshdocker run -d --name=centos7.ssh3 centos7-ssh
构建Hadoop镜像
创建目录
cd /mnt/dockermkdir hadoopcd hadoop
下载jar包
//下载hadoop,构建镜像时使用wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz//下载jdk,构建镜像时使用wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"
编辑DockerFile
vi Dockerfile
内容
FROM centos7-sshADD jdk-8u141-linux-x64.tar.gz /usr/local/RUN mv /usr/local/jdk1.8.0_141 /usr/local/jdk1.8ENV JAVA_HOME /usr/local/jdk1.8ENV PATH $JAVA_HOME/bin:$PATHADD hadoop-2.9.2.tar.gz /usr/localRUN mv /usr/local/hadoop-2.9.2 /usr/local/hadoopENV HADOOP_HOME /usr/local/hadoopENV PATH $HADOOP_HOME/bin:$PATHRUN yum install -y which sudo
保存并退出
执行构建命令
docker build -t="hadoop" .
运行容器
docker run --name hadoop0 --hostname hadoop0 -d -P -p 50070:50070 -p 8088:8088 hadoopdocker run --name hadoop1 --hostname hadoop1 -d -P hadoopdocker run --name hadoop2 --hostname hadoop2 -d -P hadoop
Hadoop 集群搭建
配置ll命令
vim ~/.bashrc
内容
增加下面的配置
alias ll='ls -l'
保存退出
重新加载
source ~/.bashrc
安装vim、net-tools
yum install net-toolsyum install vim
修改每台服务器的 /etc/hosts
使用ifconfig命令查看自己的IP,改为自己服务器的IP
172.18.0.5 hadoop0172.18.0.6 hadoop1172.18.0.7 hadoop2
修改时区
rm -rf /etc/localtimeln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
SSH无密码登陆
在每台服务器上都执行以下命令,执行后会有多个输入提示,不用输入任何内容,全部直接回车即可
ssh-keygen
输入下面命令时,需要用到上面设置的密码1234
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop0 ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop1ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop2
安装配置 hadoop
在 master 中执行
cd /usr/local/hadoopmkdir tmp hdfsmkdir hdfs/data hdfs/name
配置core-site.xml
vim /usr/local/hadoop/etc/hadoop/core-site.xml
在 块儿中添加:
fs.defaultFS hdfs://hadoop0:9000 hadoop.tmp.dir file:/usr/local/hadoop/tmp io.file.buffer.size 131702
配置hdfs-site.xml
vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
在 块儿中添加:
dfs.namenode.name.dir file:/usr/local/hadoop/hdfs/name dfs.datanode.data.dir file:/usr/local/hadoop/hdfs/data dfs.replication 2 dfs.namenode.secondary.http-address hadoop0:9001 dfs.webhdfs.enabled true
配置mapred-site.xml
这个文件默认不存在,需要从 mapred-site.xml.template 复制过来
cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
编辑文件
vim /usr/local/hadoop/etc/hadoop/mapred-site.xml
在 块儿中添加:
mapreduce.framework.name yarn mapreduce.jobhistory.address hadoop0:10020 mapreduce.jobhistory.webapp.address hadoop0:19888
配置yarn-site.xml
vim /usr/local/hadoop/etc/hadoop/yarn-site.xml
在 块儿中添加:
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address hadoop0:8032 yarn.resourcemanager.scheduler.address hadoop0:8030 yarn.resourcemanager.resource-tracker.address hadoop0:8031 yarn.resourcemanager.admin.address hadoop0:8033 yarn.resourcemanager.webapp.address hadoop0:8088
配置slaves
vim /usr/local/hadoop/etc/hadoop/slaves
删除已有内容,添加:
hadoop1hadoop2
配置hadoop-env.sh
vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
找到 export JAVA_HOME=${JAVA_HOME},改为自己JAVA_HOME的绝对路径
export JAVA_HOME=/usr/local/jdk1.8
复制文件到 hadoop1,hadoop2
scp -r /usr/local/hadoop hadoop1:/usr/localscp -r /usr/local/hadoop hadoop2:/usr/local
设置 hadoop 环境变量
在每台服务器上都执行:
vim ~/.bashrc
增加内容
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
保存退出,重新加载资源
source ~/.bashrc
启动 hadoop
在master启动hadoop,从节点会自动启动
初始化
hdfs namenode -format
启动
hadoop-daemon.sh start namenodehadoop-daemon.sh start datanodestart-dfs.shstart-yarn.shmr-jobhistory-daemon.sh start historyserver
测试
如果您使用的也是阿里云服务器,那需要在阿里云客户端调整安全组,阿里云默认只开放22端口,所以需要把50070、8088都开通
端口号.png
浏览器中访问:
http://服务器IP:50070/
图片1.png
http://服务器IP:8088/
hdfs 操作
hdfs dfs -mkdir -p /usr/local/hadoop/inputhdfs dfs -put /usr/local/hadoop/etc/hadoop/kms*.xml /usr/local/hadoop/input
http://服务器IP:50070/,在文件浏览页面查看
验证hdfs.png
mapreduce 操作
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep /usr/local/hadoop/input /usr/local/hadoop/output 'dfs[a-z.]+'
验证mapreduce.png
docker 安装oracle_阿里云使用Docker搭建Hadoop集群相关推荐
- 华为云 和 阿里云 跨服务器搭建Hadoop集群
目录 华为云 和 阿里云 跨服务器搭建Hadoop集群 说明 期间遇到的问题 CentOS6 7 8更换阿里yum源 修改服务器名称 安装JDK 安装Hadoop 编写集群分发脚本 xsync scp ...
- 阿里云ECS服务器部署HADOOP集群(三):ZooKeeper 完全分布式集群搭建
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...
- 阿里云环境下搭建HadoopHA集群
阿里云环境下搭建HadoopHA集群 1. HadoopHA介绍 1.1 hadoop高可用集群的简介 hadoop是一个海量数据存储和计算的平台,能够存储PB级以上的数据,并且利用MapRedu ...
- 使用阿里云Mysql集群做读写分离_以及使用阿里云服务器自己搭建MyCat集群_费用核算---Linux工作笔记046
咨询了一下阿里云,如果买阿里云的MySQL服务器的话,一台是5500一年,4GHz频率的CPU, 50G的硬盘,如果你也跟我一样,一个单表的数据就达到了20GB的话,那么,只买一台阿里的MySql 服 ...
- 利用闲置电脑安装虚拟机搭建hadoop集群
文章目录 前言 一.虚拟机环境的准备 二.连接虚拟机上的集群 1.整理需要连接的端口 2.配置VMware上虚拟机的端口转发 3.测试连接 总结 前言 本人刚开始学习大数据,记录自己的一些学习笔记.大 ...
- Docker搭建hadoop集群
参考https://github.com/kiwenlau/hadoop-cluster-docker/blob/master/start-container.sh 因为之前在VMware上操作Had ...
- Docker学习七:使用docker搭建Hadoop集群
本博客简单分享了如何在Docker上搭建Hadoop集群,我的电脑是Ubuntu20,听同学说wsl2有些命令不对,所以建议在虚拟机里按照Ubuntu或者直接安装双系统吧 Docker学习一:Dock ...
- hadoop搭建_阿里云搭建Hadoop集群
1 前言 在讲述Hadoop集群搭建之前,首先要了解Hadoop和集群两个名词,Hadoop是由Apache基金会开发的分布式系统基础架构,简单理解就是大数据技术应用的基础.集群可以理解为多台装有ha ...
- 阿里云 ECS 服务器上如何搭建 Hadoop 集群详细步骤图解
1.前言 在讲述Hadoop集群搭建之前,首先要了解Hadoop和集群两个名词,Hadoop是由Apache基金会开发的分布式系统基础架构,简单理解就是大数据技术应用的基础.集群可以理解为多台装有ha ...
最新文章
- Baidu_Location_SDK
- Mockito – JAXB的RETURNS_DEEP_STUBS
- php双引号解析漏洞
- Java番外篇1——正则表达式
- 100内奇数之和流程图_JavaScript基础教程(六)流程控制之循环语句
- Cisco自反控制列表的应用
- scala method入门到熟悉
- 决策树归纳一般框架(ID3,C4.5,CART)
- Net(C#)高级程序员面试题
- 吸料机的工作原理过程
- 双人小游戏—五子棋(c语言)
- 485集线器在安防监控系统的应用
- Python实现qq邮箱自动登录
- 零基础学python_03_字符串(拼接+换行+制表符)
- 买天猫店网店转让商标过户事项
- mysql只能导出65535条_导出Excel超过65535条限制解决方案
- No7.线程常用操作方法
- 遗传基因科普(5):DNA双螺旋结构的发现
- 图像处理: 设计 自定义透明度 水印
- QT项目练习--砍多多校园二手交易平台(C++)