SpringBoot整合kafka(安装)

项目路径:https://github.com/zhaopeng01/springboot-study/tree/master/study_14

序言

Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用
在整合过程中注意SpringBoot版本是否与kafka版本兼容

安装kafka

在这里介绍的是mac安装,win兄弟们可以在下面地址下载

下载地址: http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz
安装

brew install kafka

安装会依赖zookeeper。
注意：安装目录：/usr/local/Cellar/kafka/0.10.2.0
安装的配置文件位置

/usr/local/etc/kafka/server.properties
/usr/local/etc/kafka/zookeeper.properties

启动zookeeper

zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties

启动kafka

kafka-server-start /usr/local/etc/kafka/server.properties

创建topic

让我们使用单个分区和只有一个副本创建一个名为“test”的主题

kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

　　注意：docker下面命令后面加上.sh，如kafka-topics.sh ；另外localhost用宿主机的ip地址

查看创建的topic

我们现在可以看到该主题，如果我们运行list topic命令：

kafka-topics --list --zookeeper localhost:2181

发送一些消息

Kafka提供了一个命令行客户端，它将从文件或标准输入接收输入，并将其作为消息发送到Kafka集群。默认情况下，每行都将作为单独的消息发送。
运行生产者，然后在控制台中键入一些消息发送到服务器。

kafka-console-producer --broker-list localhost:9092 --topic test

消费消息

Kafka还有一个命令行消费者，将消息转储到标准输出。

kafka-console-consumer --bootstrap-server localhost:9092 --topic test --from-beginning

然后也可以根据自己的业务逻辑需求去自定义一些其他的异常类,或者结合自己的逻辑去改造一些
删除topic

这里还是删除上面的test

删除kafka相关的数据目录

数据目录查看kafka配置：

server.properties -> log.dirs=/var/kafka/log/tmp
su rm -r /var/kafka/log/tmp/test*

删除kafka topic

/home/kafka/bin/kafka-topics.sh --delete --zookeeper HadoopMaster:2181/kafka --topic test

删除zookeeper相关的路径

打开zookeeper client

/home/ZooKeeper/bin/zkCli.sh

执行下面的命令
把test替换成你要删除的topic
#删除topic test的consumer group，如果有消费记录的话

rmr /kafka/consumers/test-group
rmr /kafka/config/topics/test
rmr /kafka/brokers/topics/test
rmr /kafka/admin/delete_topics/test

重启zookeeper和kafka可以用下面命令查看相关的topic还在不在：

/home/kafka/bin/kafka-topics.sh --list --zookeeper HadoopMaster:2181/kafka

好的到这里本篇文章就先到此了,如果那里有不合适的地方还请大家多多指教,写这篇博的目的主要就是为了方便自己以后的一个回忆和朋友学习时的一个参考,希望为大家可以带来帮助 ~ ~&

虚心的去学习,自信的去工作~
---------------------
作者：Strugglein
来源：CSDN
原文：https://blog.csdn.net/Strugglein/article/details/86736753
版权声明：本文为博主原创文章，转载请附上博文链接！

转载于:https://www.cnblogs.com/telwanggs/p/10858071.html

SpringBoot整合kafka(安装)相关推荐

Kafka精品教学（入门，安装，Springboot整合Kafka）
ps:本文是博主结合视频和博客学习之后,自己实验总结编写的,如果侵权请联系删除. 要学习kafka首先要了解什么是消息队列,因为Kafka 是一个分布式的基于发布 / 订阅模式的消息队列(Messag ...
kafka 安装使用 /springboot整合kafka /消息投递机制以及存储策略 /副本处理机制
一.背景 1.基本信息 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流 ...
SpringBoot整合kafka(实现producer和consumer)
转载自 SpringBoot整合kafka(实现producer和consumer) 在Windows环境下安装运行Kafka:https://www.jianshu.com/p/d64798e81f ...
springboot 整合 kafka demo 顺便看一下源码
大家好,我是烤鸭: 今天分享下 springboot 整合 kafka. 1. 环境参数: windows + kafka_2.11-2.3.0 + zookeeper-3.5.6 + spring ...
springboot 整合kafka 实现生产，消费数据
一 kafka集群的启动 1.1 机器说明 192.168.152.128 master 192.168.152.129 slaver01 192.168.152.130 slaver02 1.2 查 ...
SpringBoot整合kafka之kafka分区实战
本文来说下SpringBoot整合kafka之kafka分区实战文章目录准备工作程序代码程序测试本文小结准备工作当然我们也可以不手动创建topic,在执行代码kafkaTemplate. ...
SpringBoot整合kafka实战之带回调的生产者
本文来说下SpringBoot整合kafka部分知识内容文章目录带回调的生产者方式一方式二本文小结带回调的生产者前面我们说了简单的生产和消费,本文说下带回调的生产者.kafkaTempl ...
Kafka原理以及SpringBoot整合Kafka
1.Kafka原理 1. brokers有多个broker组成,broker是指Kafka服务器(192.168.223.140就是其中的一个broker),上面三台Kafka服务器组成了Kafka集 ...
SpringBoot整合 ActiveMQ、SpringBoot整合RabbitMQ、SpringBoot整合Kafka
1.概念:SpringBoot 整合消息服务2.具体内容对于异步消息组件在实际的应用之中会有两类:· JMS:代表作就是 ActiveMQ,但是其性能不高,因为其是用 java 程序实现的:· AMQ ...

SpringBoot整合kafka(安装)

SpringBoot整合kafka(安装)相关推荐

最新文章

热门文章