大数据常用shell脚本之kf脚本

一、前置准备

CentOS7、jdk1.8、zookeeper-3.5.7、kafka-2.4.1

想要完成本期视频中所有操作，需要以下准备：

Kafka集群环境搭建-视频教程

大数据常用shell脚本之分发脚本编写-视频教程

大数据常用shell脚本之zk脚本编写-视频教程

大数据常用shell脚本之ha-hadoop脚本编写-视频教程

二、脚本源码

#!/bin/bash#作者：小康
#描述：Kafka集群启动停止以及查看状态脚本
#微信公众号：小康新鲜事儿USAGE="使用方法：sh kf.sh start/stop/status"
if [ $# -ne 1 ];thenecho $USAGEexit 1
fi
SHELL_ZK=/home/xiaokang/bin/zk.sh
SHELL_CALL=/home/xiaokang/bin/call-cluster.sh
KAFKA_HOME=/opt/software/kafka-2.4.1
NODES=("hadoop01" "hadoop02" "hadoop03")
case $1 in
"start")#启动zookeeper集群$SHELL_ZK startsleep 4s #开始启动kafka集群for NODE in ${NODES[*]};doecho "--------$NODE启动kafka集群--------"ssh $NODE "$KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties"   done;;
"stop")#开始停止kafka集群for NODE in ${NODES[*]};doecho "--------$NODE停止kafka集群--------"ssh $NODE "$KAFKA_HOME/bin//kafka-server-stop.sh"   done#kafka停止比较慢,延迟几秒再停止zookeeper集群,不然zookeeper集群停止后kafka进程就无法停止了sleep 11s#停止zookeeper集群$SHELL_ZK stop;;
"status")echo "--------查看kafka集群状态--------"$SHELL_CALL jps;;
*)echo $USAGE ;;
esac
echo "----------------------------------------------------------------------------------------"
echo "--------kf.sh脚本执行完成!--------"
echo -e "--------微信公众号：\033[5;31m 小康新鲜事儿 \033[0m--------"
echo "--------小康老师微信：k1583223--------"
echo "--------公众号内回复【大数据】，获取系列教程及随堂文档--------"
echo "----------------------------------------------------------------------------------------"

脚本下载地址：https://github.com/xiaokangxxs/notebook/blob/master/docs/Shell/kf.sh

三、测试使用

# 修改脚本权限
[xiaokang@hadoop01 bin]$ chmod 777 kf.sh

执行方式：

# 方式一
[xiaokang@hadoop01 bin]$ ./kf.sh start
# 方式二
[xiaokang@hadoop01 bin]$ sh kf.sh start
# 方式三
# 1.将shell脚本所在目录配置为环境变量（/etc/profile），记得source生效
export SHELL_HOME=/home/xiaokang/bin
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZOOKEEPER_HOME}/bin:${HIVE_HOME}/bin:${HBASE_HOME}/bin:${KYLIN_HOME}/bin:${KAFKA_HOME}/bin:${SCALA_HOME}/bin:${SCALA_HOME}/sbin:${SPARK_HOME}/bin:${SHELL_HOME}/:$PATH
# 2.在任意目录都可以使用自己编写的shell脚本
[xiaokang@hadoop01 ~]$ kf.sh start

使用脚本进行启动和查看状态测试，成功如下图所示：

大数据常用shell脚本之kf脚本相关推荐

大数据常用shell脚本之fl脚本
一.前置准备 CentOS7.jdk1.8.zookeeper-3.5.7.kafka-2.4.1.flume-1.9.0 想要完成本期视频中所有操作,需要以下准备: Flume安装及基本使用-视频教 ...
大数据常用shell脚本之zk脚本
一.前置准备 CentOS7.jdk1.8.zookeeper-3.5.7 想要完成本期视频中所有操作,需要以下准备: Zookeeper单机环境和集群环境搭建视频+图文教程 Hadoop完全分布式集 ...
大数据常用的软件工具有哪些？
众所周知,现如今,大数据越来越受到大家的重视,也逐渐成为各个行业研究的重点.正所谓"工欲善其事必先利其器",大数据想要搞的好,使用的工具必须合格.而大数据行业因为数据量巨大的特点, ...
大数据-常用压缩方式总结
转载声明本文系转载自以下两篇文章: 压缩格式gzip/snappy/lzo/bzip2 比较与总结作者: zzhongcy Snappy.Lzo.Gzip.Bzip2比较作者: 心有余力转载仅 ...
【大数据入门笔记系列】第一节大数据常用组件
[大数据入门笔记系列]第一节大数据常用组件大数据释义大数据组件跳转大数据释义近些年来,坊间一直流传着这样的言论:"大数据时代,人人都在裸奔".对于外行人来说,对于&qu ...
大数据常用组件官网地址
大数据常用组件官网地址数据采集传输 Flume 官网:https://flume.apache.org/ 下载地址:https://flume.apache.org/download.html Ka ...
大数据常用算法及场景
大数据常用算法及场景大数据的挖掘是从海量.不完全的.有噪声的.模糊的.随机的大型数据库中发现隐含在其中有价值的.潜在有用的信息和知识的过程,也是一种决策支持过程.其主要基于人工智能,机器学习,模式学 ...
大数据常用数据库汇总
通常数据库分为关系型数据库和非关系型数据库,关系型数据库的优势到现在也是无可替代的,比如MySQL.SQL Server.Oracle.DB2.SyBase.Informix.PostgreSQL以及 ...
大数据云计算——shell组件
Shell的操作说明书:https://www.runoob.com/linux/linux-shell.html Shell的简介 Shell 是一个用 C 语言编写的程序,它是用户使用 Linux ...

大数据常用shell脚本之kf脚本

一、前置准备

二、脚本源码

三、测试使用

大数据常用shell脚本之kf脚本相关推荐

最新文章

热门文章