docker整合hue
因为测试需求,需要将各个开源平台整合到一个大的平台中,所以引入了hue,具体操作步骤如下:
此次引入了有postgre,hive,phoenix,hbase,yarn,hdfs
1.拉取镜像
直接从dockerhub拉取已经编译好的hue:
docker pull gethue/hue
拉取好镜像后,传入自己的harbor,本地仓库,方便后续集成到k8s管理,具体操作之前也有讲过。
2.开启镜像安装相应的软件并修改hue.ini
开启镜像命令:docker run -d -it -p 8888:8888 --add-host=xxx.com:你的ip gethue/hue:latest
进入镜像,因为要使用root用户操作,所以进入命令如下:
docker exec -ti --user root 容器id bash
我这个版本的hue镜像存在/usr/share/hue/desktop/conf/目录下,因为此版本hue并未提供vim,要自行下载,命令如下:
apt-get update
apt-get install vim
最好再装一个ping:
apt install iputils-ping
最后进行文件的修改:
vim hue.ini
修改配置如下:
修改时区:
postgre相关项:
hive相关项
hbase相关项:
yarn相关项:
hdfs相关项:
phoenix配置项:
这段需要自己加官网也有说:
改完后保存退出容器打包镜像docker commit即可。
3.修改集群中的响应配置文件
首先修改hdfs的相关文件
其次修改hbase的相关文件
4.开启相关代理服务
4.1 java
首先集群上肯定要有java环境并配置好JAVA_HOME环境变量,并且此hue的对应的版本为java8
4.2 queryserver
在集群上下载好phoenix的服务端并开启服务,因为我们的项目使用的是hbase的2版本,所以下载的是apache-phoenix-5.0.0-HBase-2.0-bin.tar,方法如下:
首先确定你的集群上有HBASE_HOME的环境变量,接下来解压后来到bin目录下:
执行./queryserver.py start即可,虽然是python写的,但是内部最终起来是java来起,会开启一个java进程:
注意hbase-site里面的zookeeper配置项我用的不是hbase自带,使用的是集群模式,而且写得host域名后不要跟2181它会默认去找2181,如果写了会报错,这里应该是hue的一个bug,希望它们后面能改进。
4.3 ThriftServer
开启hbase的ThriftServer服务在9090端口:
HBASE_HOME/bin/hbase-daemon.sh start thrift
接下来可以看效果了
4.4 开启hive
hive脚本:
#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
thenmkdir -p $HIVE_LOG_DIR
fi
echo "1"
function check_process()
{pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)echo $pid[[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}
echo "2"
function hive_start()
{metapid=$(check_process HiveMetastore 9083)cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"[ -z "$metapid" ] && eval $cmd || echo "Metastroe start"server2pid=$(check_process HiveServer2 10000)cmd="nohup hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"[ -z "$server2pid" ] && eval $cmd || echo "HiveServer2 start"
}
echo "3"
function hive_stop()
{metapid=$(check_process HiveMetastore 9083)[ "$metapid" ] && kill $metapid || echo "Metastore not start"server2pid=$(check_process HiveServer2 10000)[ "$server2pid" ] && kill $server2pid || echo "HiveServer2 not start"
}case $1 in
"start")hive_startecho "2";;
"stop")hive_stop;;
"restart")hive_stopsleep 2hive_start;;
"status")check_process HiveMetastore 9083 >/dev/null && echo "Metastore normalnormal" || echo "Metastore exception"check_process HiveServer2 10000 >/dev/null && echo "HiveServer2 normalnormal" || echo "HiveServer2 exception";;
*)echo Invalid Args!echo 'Usage: '$(basename $0)' start|stop|restart|status';;
esac
此脚本一定要是unix格式,可以通过set ff=unix命令来使用
5.成功界面演示
docker整合hue相关推荐
- springboot与docker整合
一.springboot与docker整合 a.创建Dockerfile FROM java MAINTAINER "Wing"<1561815137@qq.com> ...
- springboot+feign+nacos+seata+docker整合踏坑实录
springboot+feign+nacos+seata+docker整合踏坑实录 一.版本 springboot:2.7.2 feign:3.1.5 jdk:19 seata:1.5.2 nacos ...
- Docker 安装 Hue 4.10.0
1.安装mysql: 使用Docker搭建MySQL服务 - sablier - 博客园 2.下载镜像:直接启动: docker run -it -p 8888:8888 gethue/hue:lat ...
- Docker整合dockerfly实现UI界面管理(单机版)
一.搜索镜像 docker search dockerfly 二.根据镜像使用排名(一般情况下拉取使用率最高的镜像名),我这里使用的是阿里云镜像地址 docker pull registry.cn-h ...
- docker整合MongoDB常用命令
docker安装 1.安装步骤 官网安装地址:https://docs.docker.com/engine/install/centos/ 安装命令 #卸载老版本(\是链接符,将本段文字直接运行即可) ...
- 微服务项目的整合与测试
实验目的 掌握微服务项目的整合使用 掌握Swagger-UI的简单使用 练习内容 1.微服务项目整合 1.1.项目预览 1.1.1.在 https://github.com/shi469391tou/ ...
- Docker 部署SpringBoot项目不香吗?
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章 作者:流星007 链接:toutiao.com/i68433912 ...
- Docker 部署不香吗?
点击上方"朱小厮的博客",选择"设为星标" 后台回复"书",获取 来源:22j.co/ef5f 目录 docker介绍 安装docker U ...
- docker部署springboot_创建SpringBoot项目部署到docker全过程
目录 docker 介绍 安装 docker Ubuntu 安装 docker CentOS 安装 docker 通过脚本安装 拉取 java 环境 创建 springboot 项目 打包 sprin ...
最新文章
- 项目管理难,如何高效地对项目进行管理?
- 到底什么是生成式对抗网络GAN?
- 硅谷大厂也看「名校学历」?Reddit小哥灵魂拷问引起热议
- 判断比较器Comparator和Comparable的升序降序问题
- solr后台界面介绍——(十一)
- 数据结构及算法 -- 目录
- bzoj3944 Sum 杜教筛
- 山东女子学院计算机专业分数线,山东女子学院2020年山东省本科专业录取分数统计(含位次)...
- 《剑指offer》面试题24——二叉搜索树的后序遍历序列(C++)
- 基于51单片机的交通灯设计
- EditText属性简单描述
- 数学建模番外篇1:PPT绘制3D图形
- python中如何使用seek来移动文件指针位置
- pacman 查询_pacman命令
- 2016年计算机二级步骤,2016计算机二级MS-Office真题15操作步骤
- Java导出excel表格,数字数据带E
- linux下dd工具,dd 工具使用
- 怎么用java程序控制步进电机_用单片机按键控制步进电机转动的程序怎么写
- What are default and maximum values of dev_loss_tmo in Red Hat Enterprise Linux 6
- MATLAB将图片显示为热图并保存
热门文章
- Java黑皮书课后题第8章:*8.24(检验数独的解决方案)程序清单8-4通过检测棋盘上的每个数字是否是有效的,从而检验一个解决方案是否是有效的。重写该程序,通过检验是否每行、每列、每个小方盒中具有
- 2016年大学计算机期末试题及答案,2016年大学计算机基础试题题库及答案
- 坑爹的jquery ui datepicker
- Browser Page Parsing Details
- js原生捕鱼达人(一)
- Java 异常处理学习总结
- 按汉字首字母排序(sql语句)
- 继续Bargaining
- 718. Maximum Length of Repeated Subarray 最长重复子数组
- 树莓派搭建Django服务器通过远程访问