hadoop使用docker安装和使用(单节点适合开发环境)

本人亲测可用大家放心安装,本文适合开发环境搭建,不喜勿喷
安装环境
centos7.2
docker 18.06.0-ce(这个安装参考我的另外一篇博客https://blog.csdn.net/qq_16563637/article/details/81699251)
首先关闭防火墙
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
下载hadoop镜像

docker pull sequenceiq/hadoop-docker:2.6.0

查看镜像

docker images

运行hadoop

docker run -i -t -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042  -p 49707:49707  -p 50010:50010  -p 50075:50075  -p 50090:50090 sequenceiq/hadoop-docker:2.6.0 /etc/bootstrap.sh -bash

测试是否安装成功
先进入hadoop容器

docker exec -it ${CONTAINER ID} /bin/bash

执行完成docker run 也就是上一步,该步骤可以省略

cd /usr/local/hadoop-2.6.0
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+'

如果执行mapreduce程序说明安装成功
可以打开浏览器查看
宿主机IP:50070
docker安装完毕
为了正常使用还需安装以下东西

vi /etc/profile

在最底部加入下面内容

export HADOOP_HOME="/usr/local/hadoop-2.6.0"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存:wq
使得配置生效

source /etc/profile

查看命令行是否能用

hadoop version

docker命令行安装完毕
测试jar文件在hadoop中启动
上传一个jar到宿主机
我用hadoop-mapreduce-examples-2.6.0.jar(这个可以自己在网上下一个)
拷贝jar文件到容器
docker cp 要拷贝的文件路径容器名：要拷贝到容器里面对应的路径

docker cp /root/hadoop-mapreduce-examples-2.6.0.jar b7d7f88574fb:/usr/local/hadoop-2.6.0

查看是否成功

docker exec -it b7d7f88574fb /bin/bash
cd /usr/local/hadoop-2.6.0
ls

上传一个文件到hdfs

vi a.txt

输入下面内容

canglaoshi is mylove
xiaoze is mylove
wutenglan is mylove

保存
hadoop创建文件夹

hadoop fs -mkdir -p /wordcount/input
hadoop fs -put a.txt /wordcount/input
hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /wordcount/input /wordcount/output

查看输出内容

hadoop fs -cat /wordcount/output/part-r-00000

hadoop使用docker安装和使用(单节点适合开发环境)相关推荐

hadoop 配置 docker伪分布式（单节点）
在~/.bashrc中添加环境变量 export JAVA_HOME=/bigdata/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin export HAD ...
hadoop3的简单安装方法（单节点）
前言目前,网络上关于Hadoop安装的资料很多,过程比较详细,各种问题的解决方案基本都能找到,但资料质量参差不齐,随着hadoop版本的更新,有些方法已经不适用.lz初学hadoop,在这里面碰到不 ...
macos server 恢复安装_Go语言：Docker安装及运行consul节点
微服务管理--Docker安装及运行consul节点搭建集群在真实的生产环境中,需要真实的部署consul集群.在一台机器上想要模拟多台集群部署的效果,有两种方案:一种是借助虚拟机,另一种是借助容 ...
consul命令行查看服务_Go语言微服务架构实战：第十三节微服务管理--Docker安装及运行consul节点...
微服务管理--Docker安装及运行consul节点搭建集群在真实的生产环境中,需要真实的部署consul集群.在一台机器上想要模拟多台集群部署的效果,有两种方案:一种是借助虚拟机,另一种是借助容 ...
ubuntu20环境下使用DevStack安装Openstack-Wallaby（单节点、多节点）
文章目录一.单节点部署 1. 环境准备 1.1 镜像源 1.2 pip源 1.3 安装依赖包 2. OpenStack安装 - wallaby 2.1 添加`stack`用户 2.2 设置代理 2. ...
Vscode_00_安装Vscode和搭建C/C++开发环境
Vscode_00_安装Vscode和搭建C/C++开发环境下载并安装Vscode 下载Vscode 安装Vscode 插件推荐卸载Vscode 配置C/C++开发环境下载MinGW 安装Min ...
基于Anaconda安装GPU版PyTorch深度学习开发环境
基于Anaconda安装GPU版PyTorch深度学习开发环境 1 安装Anaconda 2 安装GPU计算驱动 2.1 检查是否有合适的GPU 2.2 下载CUDA和cuDNN 2.3 安装CUDA ...
mac怎么配置php开发环境变量,Mac M1安装mnmp(Mac+Nginx+MySQL+PHP)开发环境
之前刚装好了 HomeBrew ,接下来就要安装环境了. 注意:如果 brew install 出以下错误, 则安装时使用arch -arm64 brew install软件包名进行安装安装 N ...
PX4-AutoPilot教程-0-使用VMware虚拟机安装Ubuntu系统并搭建PX4开发环境（ROS+mavros+jMAVSim+gazebo+QGC+QT）
使用VMware虚拟机安装Ubuntu系统并搭建PX4开发环境本教程使用VMware虚拟机安装Ubuntu18.04系统(官方推荐使用版本),搭建PX4固件版本为v1.9.2,飞控板为pixhawk ...

hadoop使用docker安装和使用(单节点适合开发环境)

hadoop使用docker安装和使用(单节点适合开发环境)相关推荐

最新文章

热门文章