1.1 Kafka的单节点部署

在实际的工作中,经常使用Kafka作为消息队列,然而并不是每一种业务场景都需要集群版的Kafka,有时单节点的Kafka就能满足了业务的需求。以下就是单节点kafka的部署流程:

1.1.1     安装包下载

从Kafka官网下载最新的Kafka,目前我下载的版本为kafka_2.12-1.1.0.tgz

1.1.2     解压安装包

tar -zxvf kafka_2.12-1.1.0.tgz -C /opt/

创建软链接,软连接的创建的好处是方便之后的Kafka的版本的升级:

ln -s /opt/kafka_2.12-1.1.0 /opt/kafka

1.1.3     配置Zookeeper

Kafka的安装包中,包含了zookeeper的安装包,如果没有zookeeper,可以按照以下流程进行配置,如果自带了zookeeper,可以使用已有的。

cd /opt/kafkavim config/zookeeper.properties

修改ZooKeeper的数据目录

dataDir=/data/zookeeper

配置host.name和advertised.host.name为IP地址

host.name=bigdata234advertised.host.name=bigdata234

1.1.4     启动Zookeeper

由于Kafka需要把元数据注册到Zookeeper的,所以,启动Kafka之前需要首先启动Zookeeper。启动Zookeeper服务有两种方式,前台启动和后台启动。当调试的时候,需要前台启动,能够直接在前台看到运行日志,如果出现了报错现象,也方便调优。当ZK运行正常之后,就可以使用后台运行的方式启动服务了。

#前台启动./zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties#后台启动./zookeeper-server-start.sh  -daemon /opt/kafka/config/zookeeper.properties

1.1.5     修改Kafka配置

Kafka的配置文件保存在config/server.properties文件中。对Kafka的配置的修改主要是修改数据文件目录,日志文件目录,基础配置信息。必须修改的选项。尤其是Kafka的数据和日志不能保存在系统盘中,一般的系统的系统盘的大小就几十个GB,很容易会将系统盘写满。

1.1.5.1 修改数据文件目录

log.dirs=/data/kafka/datas#支持多个数据盘的挂载,多个数据盘之间使用英文逗号分隔开即可

1.1.5.2  修改日志文件目录

Kafka运行的时候都会通过log4j打印很多日志文件,如:server.log,controller.log, state-change.log等,默认都会将其输出到${KAFKA_HOME}/logs目录下。Kafka的日志默认输出的路径是在${KAFKA_HOME}/bin/kafka-run-class.sh指定的,可以修改如下:

# Log directory to useif [ "x$LOG_DIR" = "x" ];then   LOG_DIR="/data/kafka/logs"fi

1.1.5.3 修改基础配置信息

单节点安装的时候需要指定对应的地址和绑定的端口。需要在配置文件中添加如下选项:

listeners=PLAINTEXT://bigdata234:9092port=9092advertised.host.name=bigdata234

1.1.6     启动Kafka服务器

Kafka的启动也可以是前台或者后台启动。

./kafka-server-start.sh ../config/server.proper#后台启动./kafka-server-start.sh  -daemon ../config/server.properties

1.1.7     单节点的优缺点

单节点Kafka有优点也有缺点。

优点如下——

u 部署简单;

u 运维简单;

u 资源需求少;

u 快速满足基本功能;

缺点如下——

u 性能差,不适合面向高并发;

u 数据缺少安全性,一个物理机挂了,数据就会丢失;

kafka启动_Kafka安装部署——单节点相关推荐

  1. centos 7安装部署 单节点 Elasticsearch 6.6.0

    centos 7安装部署Elasticsearch 安装java环境 先查看本地是否自带java环境 yum list installed |grep java 卸载自带的java(注:需要root权 ...

  2. Openstack 一键安装部署 单节点

    使用 packstack 工具实现一键部署 OpenStack. 通过该安装工具, 只需简单运行一条命令, 即可以快速部署 OpenStack, 省去繁琐的安装步骤, 而直接体验OpenStack 的 ...

  3. k8s安装sqlite3_kubernetes环境部署单节点redis数据库的方法

    kubernetes部署redis数据库(单节点) redis简介 Redis 是我们常用的非关系型数据库,在项目开发.测试.部署到生成环境时,经常需要部署一套 Redis 来对数据进行缓存.这里介绍 ...

  4. 基于VMware采用kubeadm方式部署单节点k8s集群(练习使用)

    1.虚拟机安装centos7.6 1.1 导入镜像 这里选择的版本是:CentOS-7-x86_64-DVD-2207-02.iso(即centos7.6的镜像) 镜像下载地址: http://mir ...

  5. 【原】docker部署单节点consul

    docker下部署单节点的consul,最重要的是在run consul时,配置-bootstrap-expect=1 docker run --name consul1 -d -p 5902:850 ...

  6. Hyperledger Fabric 二进制安装部署 Peer 节点

    Hyperledger Fabric 二进制安装部署 Peer 节点 规划网络拓扑 3 个 orderer 节点; 组织 org1 , org1 下有两个 peer 节点, peer0 和 peer1 ...

  7. K8S部署单节点zookeeper服务

    要使用Kubernetes (K8s) 部署单节点Zookeeper服务,需要执行以下步骤: 0.创建Zookeeper镜像 该镜像包含Zookeeper二进制文件和配置文件,使用Dockerfile ...

  8. Centos 6/7安装Torque(单节点)

    Centos 6/7安装Torque(单节点)** 1. 简介 PBS(Portable Batch System)最初由NASA的Ames研究中心开发,主要为了提供一个能满足异构计算网络需要的软件包 ...

  9. kafka 启动_Kafka的安装与启动

    安装 在mac上可以使用brew install kafka进行kafka的安装,在安装kafka时,会自动检测有无zookpeer,如果没有的话也会安装一个. 启动kafka 启动kafka,首先要 ...

最新文章

  1. mysql 散列查询_MySQL InnoDB中hash查找表的实现
  2. echarts 去掉网格线
  3. 计算机与操作系统简介
  4. 鸿蒙系统执行效率,华为鸿蒙手机优势:兼容所有安卓软件、比安卓运行速度快60%...
  5. 网络资源的初始化与释放(C++ RAII惯用法)
  6. CCIE理论-第八篇-SD-WAN(三)+DAI(动态ARP检测)
  7. 多线程处理list_跟大佬聊天,被反问Redis6的多线程真的能提高性能吗?
  8. 安卓开发mysql数据库_Android编程之数据库的创建方法详解
  9. 折半枚举(双向搜索)
  10. 安装MYSQL的思考与分析_mysql安装和基本使用
  11. bzoj 1878: [SDOI2009]HH的项链 ——树状数组+ 差分
  12. on the way——《linux内核分析》学习总结
  13. java日志分级概要
  14. avr的c语言开发工具,AVR单片机的C语言开发简介
  15. 软件测试脚本语言有哪些,测试脚本是什么意思有哪些脚本
  16. Office文档忘保存了?办公必学技能:快速找回未保存的文档
  17. Ubiquitous Religions——并查集
  18. 【转帖】Dirichlet Distribution(狄利克雷分布)与Dirichlet Process(狄利克雷过程)原文https://www.datalearner.com/blog/10514
  19. python freshman day2
  20. com.netflix.hystrix.exception.HystrixRuntimeException short-circuited and no fallback available

热门文章

  1. Java:抽象类笔记
  2. MySQL 5.6.20-enterprise-commercial的参数文件位置问题
  3. linux内核同步机制相关收集
  4. 工作中用到的安卓日志相关命令(logcat)
  5. 如何通过PHP将excel的数据导入MySQL中
  6. 会计基础第二次模拟试题(1)
  7. 说说 JavaScript 计时器的工作原理
  8. 15.使用using和try/finally来做资源清理
  9. 用GPIO口模拟串口通信,它真的来了
  10. 1200可以读取modbus tcp_S7-1200 作 MODBUS TCP服务器