kafka启动_Kafka安装部署——单节点
1.1 Kafka的单节点部署
在实际的工作中,经常使用Kafka作为消息队列,然而并不是每一种业务场景都需要集群版的Kafka,有时单节点的Kafka就能满足了业务的需求。以下就是单节点kafka的部署流程:
1.1.1 安装包下载
从Kafka官网下载最新的Kafka,目前我下载的版本为kafka_2.12-1.1.0.tgz
1.1.2 解压安装包
tar -zxvf kafka_2.12-1.1.0.tgz -C /opt/
创建软链接,软连接的创建的好处是方便之后的Kafka的版本的升级:
ln -s /opt/kafka_2.12-1.1.0 /opt/kafka
1.1.3 配置Zookeeper
Kafka的安装包中,包含了zookeeper的安装包,如果没有zookeeper,可以按照以下流程进行配置,如果自带了zookeeper,可以使用已有的。
cd /opt/kafkavim config/zookeeper.properties
修改ZooKeeper的数据目录
dataDir=/data/zookeeper
配置host.name和advertised.host.name为IP地址
host.name=bigdata234advertised.host.name=bigdata234
1.1.4 启动Zookeeper
由于Kafka需要把元数据注册到Zookeeper的,所以,启动Kafka之前需要首先启动Zookeeper。启动Zookeeper服务有两种方式,前台启动和后台启动。当调试的时候,需要前台启动,能够直接在前台看到运行日志,如果出现了报错现象,也方便调优。当ZK运行正常之后,就可以使用后台运行的方式启动服务了。
#前台启动./zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties#后台启动./zookeeper-server-start.sh -daemon /opt/kafka/config/zookeeper.properties
1.1.5 修改Kafka配置
Kafka的配置文件保存在config/server.properties文件中。对Kafka的配置的修改主要是修改数据文件目录,日志文件目录,基础配置信息。必须修改的选项。尤其是Kafka的数据和日志不能保存在系统盘中,一般的系统的系统盘的大小就几十个GB,很容易会将系统盘写满。
1.1.5.1 修改数据文件目录
log.dirs=/data/kafka/datas#支持多个数据盘的挂载,多个数据盘之间使用英文逗号分隔开即可
1.1.5.2 修改日志文件目录
Kafka运行的时候都会通过log4j打印很多日志文件,如:server.log,controller.log, state-change.log等,默认都会将其输出到${KAFKA_HOME}/logs目录下。Kafka的日志默认输出的路径是在${KAFKA_HOME}/bin/kafka-run-class.sh指定的,可以修改如下:
# Log directory to useif [ "x$LOG_DIR" = "x" ];then LOG_DIR="/data/kafka/logs"fi
1.1.5.3 修改基础配置信息
单节点安装的时候需要指定对应的地址和绑定的端口。需要在配置文件中添加如下选项:
listeners=PLAINTEXT://bigdata234:9092port=9092advertised.host.name=bigdata234
1.1.6 启动Kafka服务器
Kafka的启动也可以是前台或者后台启动。
./kafka-server-start.sh ../config/server.proper#后台启动./kafka-server-start.sh -daemon ../config/server.properties
1.1.7 单节点的优缺点
单节点Kafka有优点也有缺点。
优点如下——
u 部署简单;
u 运维简单;
u 资源需求少;
u 快速满足基本功能;
缺点如下——
u 性能差,不适合面向高并发;
u 数据缺少安全性,一个物理机挂了,数据就会丢失;
kafka启动_Kafka安装部署——单节点相关推荐
- centos 7安装部署 单节点 Elasticsearch 6.6.0
centos 7安装部署Elasticsearch 安装java环境 先查看本地是否自带java环境 yum list installed |grep java 卸载自带的java(注:需要root权 ...
- Openstack 一键安装部署 单节点
使用 packstack 工具实现一键部署 OpenStack. 通过该安装工具, 只需简单运行一条命令, 即可以快速部署 OpenStack, 省去繁琐的安装步骤, 而直接体验OpenStack 的 ...
- k8s安装sqlite3_kubernetes环境部署单节点redis数据库的方法
kubernetes部署redis数据库(单节点) redis简介 Redis 是我们常用的非关系型数据库,在项目开发.测试.部署到生成环境时,经常需要部署一套 Redis 来对数据进行缓存.这里介绍 ...
- 基于VMware采用kubeadm方式部署单节点k8s集群(练习使用)
1.虚拟机安装centos7.6 1.1 导入镜像 这里选择的版本是:CentOS-7-x86_64-DVD-2207-02.iso(即centos7.6的镜像) 镜像下载地址: http://mir ...
- 【原】docker部署单节点consul
docker下部署单节点的consul,最重要的是在run consul时,配置-bootstrap-expect=1 docker run --name consul1 -d -p 5902:850 ...
- Hyperledger Fabric 二进制安装部署 Peer 节点
Hyperledger Fabric 二进制安装部署 Peer 节点 规划网络拓扑 3 个 orderer 节点; 组织 org1 , org1 下有两个 peer 节点, peer0 和 peer1 ...
- K8S部署单节点zookeeper服务
要使用Kubernetes (K8s) 部署单节点Zookeeper服务,需要执行以下步骤: 0.创建Zookeeper镜像 该镜像包含Zookeeper二进制文件和配置文件,使用Dockerfile ...
- Centos 6/7安装Torque(单节点)
Centos 6/7安装Torque(单节点)** 1. 简介 PBS(Portable Batch System)最初由NASA的Ames研究中心开发,主要为了提供一个能满足异构计算网络需要的软件包 ...
- kafka 启动_Kafka的安装与启动
安装 在mac上可以使用brew install kafka进行kafka的安装,在安装kafka时,会自动检测有无zookpeer,如果没有的话也会安装一个. 启动kafka 启动kafka,首先要 ...
最新文章
- mysql 散列查询_MySQL InnoDB中hash查找表的实现
- echarts 去掉网格线
- 计算机与操作系统简介
- 鸿蒙系统执行效率,华为鸿蒙手机优势:兼容所有安卓软件、比安卓运行速度快60%...
- 网络资源的初始化与释放(C++ RAII惯用法)
- CCIE理论-第八篇-SD-WAN(三)+DAI(动态ARP检测)
- 多线程处理list_跟大佬聊天,被反问Redis6的多线程真的能提高性能吗?
- 安卓开发mysql数据库_Android编程之数据库的创建方法详解
- 折半枚举(双向搜索)
- 安装MYSQL的思考与分析_mysql安装和基本使用
- bzoj 1878: [SDOI2009]HH的项链 ——树状数组+ 差分
- on the way——《linux内核分析》学习总结
- java日志分级概要
- avr的c语言开发工具,AVR单片机的C语言开发简介
- 软件测试脚本语言有哪些,测试脚本是什么意思有哪些脚本
- Office文档忘保存了?办公必学技能:快速找回未保存的文档
- Ubiquitous Religions——并查集
- 【转帖】Dirichlet Distribution(狄利克雷分布)与Dirichlet Process(狄利克雷过程)原文https://www.datalearner.com/blog/10514
- python freshman day2
- com.netflix.hystrix.exception.HystrixRuntimeException short-circuited and no fallback available