hadoop服务快速部署
这篇文章记录下针对不同的hadoop版本进行服务部署的过程,希望可以帮到你们
安装docker hadoop2.7.0
一键部署docker hadoop3.0.0集群(一个master 三个slave)
安装docker hadoop 3.2.0
a、docker启动
b、docker compose方式启动
安装hadoop 2.7.0版本
安装命令
docker run --name hdfs2.7.3 -d -p 9000:9000 -p 50070:50070 georocket/hadoop-docker:2.7.3
50070是webui端口
9000是hdfs服务端口
查看启动结果
docker logs -f 529923fd985e65c6aa1dab32b51acfc3bb4de94042b9079b8d1e62e760766821从日志中可以看出 启动方式-启动用户-启动服务hadoop-root-namenode
hadoop-root-datanode
hadoop-root-secondarynamenode
yarn--resourcemanager
yarn-root-nodemanager
mapred--historyserver
hadoop相关端口
docker ps|grep hadoop529923fd985e georocket/hadoop-docker:2.7.3 "/etc/bootstrap.sh -d" 36 minutes ago Up 36 minutes 2122/tcp, 8020/tcp, 8030-8033/tcp, 8040/tcp, 8042/tcp, 8088/tcp, 10020/tcp, 19888/tcp, 49707/tcp, 50010/tcp, 0.0.0.0:9000->9000/tcp, 50020/tcp, 50075/tcp, 50090/tcp, 0.0.0.0:50070->50070/tcp hdfs2.7.3
进入docker中 运行hadoop mapreduce
docker exec -it 529923fd985e65c6aa1dab32b51acfc3bb4de94042b9079b8d1e62e760766821 sh进入hadoop目录cd $HADOOP_PREFIX
执行mapreduce程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'计算结果保存在了 hdfs://529923fd985e:9000/user/root/output
从日志中可以看到这些关键信息
客户端连接ResourceManager资源管理器 对应端口是8032
client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032提交一个mapreduce任务到 8088端口
mapreduce.Job: The url to track the job: http://529923fd985e:8088/proxy/application_1603590135211_0004/
查看计算结果
bin/hdfs dfs -cat output/*
通过页面查看
http://127.0.0.1:50070/
安装hadoop 3.0.0
安装hadoop 3.1.1集群
一键启动脚本
https://gitee.com/pingfanrenbiji/docker-hadoop
./start-hadoopContainer.sh 启动一个master节点 3个slave节点
进入master容器
docker exec -it master sh
格式化hdfs
hadoop namenode -format
启动hadoop
cd /usr/local/hadoop-3.1.1/sbin
./start-all.sh
查看是否启动成功
jps
进入其他slave中
访问web页面
http://127.0.0.1:9870/
安装hadoop 3.2.0版本
启动脚本
https://gitee.com/pingfanrenbiji/hadoop-docker
启动docker服务
# 启动hadoop 3.2.0
docker run --rm --name hadoop -p 9870:9870 -p 9864:9864 -d crs4/hadoop:3.2.0# 进入docker
docker exec -it hadoop bash -l# 创建一个目录
hdfs dfs -mkdir -p "/user/$(whoami)"# 上传文件
hdfs dfs -put entrypoint.sh# 打印hadoop版本
export V=$(hadoop version | head -n 1 | awk '{print $2}')# 提交hadoop任务
hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-${V}.jar wordcount entrypoint.sh wc_out# 运行hadoop任务
hdfs dfs -get wc_out# 获取计算结果
head wc_out/part*
通过docker-compose启动
docker-compose up -d
进入client
docker-compose exec client bashhdfs dfs -mkdir -p "/user/$(whoami)"
本文使用 mdnice 排版
hadoop服务快速部署相关推荐
- 基于华为云区块链服务快速部署和搭建链上应用
华为云区块链服务的整体架构 华为云区块链服务BCS是面向企业及开发者的高性能.高可用和高安全的区块链技术平台服务,可以帮助企业和开发人员在华为云上快速.低成本的创建.部署和管理区块链应用. BCS基于 ...
- hadoop中的9000端口代表什么_hadoop服务快速部署
这篇文章记录下针对不同的hadoop版本进行服务部署的过程,希望可以帮到你们 安装docker hadoop2.7.0 一键部署docker hadoop3.0.0集群(一个master 三个slav ...
- rsync 服务快速部署手册
一.rsync服务端安装 1.查看rsync安装包 # rpm -qa rsync rsync-3.0.6-12.el6.x86_64 2.安装rsync 系统默认都会安装rsync软件包的,如果查看 ...
- Sonic 开源移动端云真机测试平台 - windows系统下的sonic快速部署演示
Sonic 开源移动端云真机测试平台快速部署演示 第一章:Sonic 平台的准备工作与快速部署 ① Docker 的安装 ② MySQL 的安装 ③ docker-compose.yml 文件配置 ④ ...
- 快速部署ldap服务
快速部署ldap服务 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.LDAP概述 1.什么是目录服务(1)目录是一类为了浏览和搜索数据二十几的特殊的数据库,例如:最知名的的微软 ...
- Docker快速部署PostgreSQL服务
Docker快速部署PostgreSQL服务 快速开始 请新建一个目录postgresql,进入目录postgresql,将以下文件保存为docker-compose.yml,然后执行docker-c ...
- 云服务基于DevCloud的自动化部署功能,实现快速部署网站应用
[目的]本实验指导用户基于DevCloud的自动化部署功能,实现在CCE集群上快速部署网站应用. 云服务基于DevCloud的自动化部署功能,实现快速部署网站应用 1.资源准备 1.1.创建安全组.虚 ...
- 基于亚马逊云科技无服务器服务快速搭建电商平台——部署篇
概览 受疫情影响消费者习惯发生改变,刺激了全球电商行业的快速发展.除了依托第三方电商平台将产品销售给消费者之外,企业通过品牌官网或者自有电商平台销售商品也是近几年电商领域快速发展的商业模式. 独立站电 ...
- 阿里云轻量应用服务器基于CentOS系统镜像快速部署Apache服务
阿里云轻量应用服务器提供了Windows Server系统镜像和主流的Linux系统镜像,您可以通过该类镜像创建纯净.安全.稳定的运行环境.本文以CentOS 7.6系统镜像为例,介绍如何快速配置Ap ...
最新文章
- python 空dataframe_python 创建一个空dataframe 然后添加行数据的实例
- SpringMVC的数据转换、格式化和数据校验
- 【快乐水题】1688. 比赛中的配对次数
- 软件工程个人项目——买书的最低价格
- 超简单的java爬虫
- python-day1
- 【渝粤题库】国家开放大学2021春2717家畜解剖基础题目
- vue PC端国际化一站式解决方案
- 深度学习(三十三)CRF as RNN语义分割-未完待续
- golang(5)使用beego 开发 api server 和前端同学拆分开发,使用swagger
- 对android中ActionBar中setDisplayHomeAsUpEnabled和setHomeButtonEnabled和setDisplayShowHomeEnabled方法的理解...
- Aria2在Windows上如何安装配置使用
- apicloud mysql 登录_PHP+MySQL实现前台的登陆注册。
- IS技术:稳定压倒一切
- Tomcat8安装及配置详解
- 【故障诊断分析】滚动轴承故障诊断系统含Matlab源码
- 字符串匹配算法:从这段代码判断你是不是在大气层
- cvpr论文阅读之Deep Spatio-Temporal Random Fields for Efficient Video Segmentation(用于视频分割的深度时空随机场)
- 驱动精灵在服务器的系统安装,驱动精灵怎么安装打印机驱动?打印机驱动安装的方法...
- 记录一下,不是所有的韩语输入法apk,装到同一个系统,都能弹出软键盘
热门文章
- c++string函数(一)——find、rfind详细用法
- html5 标准结构_IT兄弟连 HTML5教程 HTML文件的主体结构
- 有关凸集的证明例题_第1章引言题解1. 用定义验证下列各集合是凸集: (1) S={(X1 ......
- java自动化执行javascript,Js代码执行__实现自动化
- resultmap拿不到数据_英雄联盟S10:半决赛数据告诉你huanfeng有多强
- 深度解析 | 基于DAG的分布式任务调度平台:Maat 1
- 数据决策成共识 大数据产业期待点“数”成金
- 如何保护 .NET 应用的安全?
- svn服务器安装与配置
- 神秘的.user.ini文件