Kafka 部分参数说明

（1）max.in.flight.requests.per.connection
Kafka 可以保证同一个分区里的消息是有序的。也就是说，如果生产者按照一定的顺序发送消息，broker 就会按照这个顺序把它们写入分区，消费者也会按照同样的顺序读取它们。
参考链接：https://blog.csdn.net/u011669700/article/details/80000744

一、 mac kafka安装简单使用

原文链接：https://blog.csdn.net/weixin_42357472/article/details/105044441

1.采用homebrew的方式
终端执行命令：brew install kafka2.修改Kafka服务配置文件server.properties
执行命令: vi /usr/local/etc/kafka/server.properties
解除注释:listeners=PLAINTEXT://localhost:9092(如无该内容则增加，ip地址需要注意以后可能也需要外部访问进行更改)3.启动zookeeper 服务
执行命令:zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties &4.启动Kafka服务
执行命令:kafka-server-start /usr/local/etc/kafka/server.properties &

可参考此博客安装homebrew：https://blog.csdn.net/txl910514/article/details/105880125

==> zookeeper
To have launchd start zookeeper now and restart at login:brew services start zookeeper
Or, if you don't want/need a background service you can just run:zkServer start
==> kafka
To have launchd start kafka now and restart at login:brew services start kafka
Or, if you don't want/need a background service you can just run:zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties & kafka-server-start /usr/local/etc/kafka/server.properties


5.创建topic
执行命令(新开终端)：kafka-topics --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic hello
查看已有主题list: kafka-topics --list --bootstrap-server localhost:90926.创建生产者(输入内容生产消息由消费者获取)
执行命令(新开终端):kafka-console-producer --topic hello --broker-list localhost:90927.创建消费者(读取生产者生产的消息内容)
执行命令(新开终端):kafka-console-consumer --bootstrap-server localhost:9092 -topic hello

MAC搭建kafka客户端遇见的问题
（1） kafka列举所有topic抛异常：解决Exception in thread “main“ joptsimple.UnrecognizedOptionException: zookeeper is not a recognized问题
解决方案：
在较新版本（2.2 及更高版本）的 Kafka 不再需要 ZooKeeper 连接字符串，即- -zookeeper localhost:2181。使用 Kafka Broker的 --bootstrap-server localhost:9092来替代- -zookeeper localhost:2181。
原文链接：https://blog.csdn.net/weixin_45865428/article/details/121264496
（2） kafka的版本
cd /usr/local/Cellar/kafka

二、 Kafka 基础：Java实现Kafka生产者消费者功能

原文链接：https://blog.csdn.net/rain_web/article/details/83473709?spm=1001.2101.3001.6650.4&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-4.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-4.no_search_link

1、 Kafka基础-生产者发送消息

import java.util.Properties;import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;public class ProducerDemo {public static void main(String[] args){Properties properties = new Properties();properties.put("bootstrap.servers", "localhost:9092");properties.put("acks", "all");properties.put("retries", 0);properties.put("batch.size", 16384);properties.put("linger.ms", 1);properties.put("buffer.memory", 33554432);properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");Producer<String, String> producer = null;try {producer = new KafkaProducer<String, String>(properties);for (int i = 111; i < 211; i++) {String msg = "------Message " + i;producer.send(new ProducerRecord<String, String>("v", msg));System.out.println("Sent:" + msg);}} catch (Exception e) {e.printStackTrace();} finally {producer.close();}}
}

2、 kafka消费端

import java.util.Arrays;
import java.util.Properties;import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;public class ConsumerDemo {public static void main(String[] args){Properties properties = new Properties();properties.put("bootstrap.servers", "localhost:9092");properties.put("group.id", "group-1");properties.put("enable.auto.commit", "true");properties.put("auto.commit.interval.ms", "1000");properties.put("auto.offset.reset", "earliest");properties.put("session.timeout.ms", "30000");properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(properties);kafkaConsumer.subscribe(Arrays.asList("hello_topic"));while (true) {ConsumerRecords<String, String> records = kafkaConsumer.poll(100);for (ConsumerRecord<String, String> record : records) {System.out.printf("offset = %d, value = %s", record.offset(), record.value());System.out.println();}}}
}

踩坑:
（1） kafka启动异常kafka.common.InconsistentBrokerIdException
直接删除整个目录即可
https://blog.csdn.net/weixin_40122615/article/details/102544364

参考链接：
（1） Kafka基础-生产者发送消息
https://blog.csdn.net/gangchengzhong/article/details/80745974?spm=1001.2101.3001.6650.2&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-2.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-2.no_search_link
（2） SpringBoot实现—遗留问题，后续补充
(2.1)kafka-客户端发送消息https://blog.csdn.net/ko0491/article/details/109624640
(3) lombok @Slf4j注解------遗留问题，引入坐标后还是报错，后续解决
https://blog.csdn.net/xue632777974/article/details/80437452?spm=1001.2101.3001.6650.2&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-2.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-2.no_search_link

MAC搭建kafka客户端以及实现生产消费相关推荐

mac 搭建kafka系列教程
新入手mac,当然是装各种软件啦下面来记录一下使用mac安装kafka的过程,mac上面的homebrew是真的好用下面我们来开始进入安装吧安装环境基础 # jdk1.8 并且配置好环境变量 1 ...
kafka生产消费原理笔记
一.什么是kafka Kafka是最初由Linkedin公司开发,是一个分布式.支持分区的(partition).多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性 ...
kafka Java客户端之 consumer API 消费消息
背景:我使用docker-compose 搭建的kafka服务 kafka的简单介绍以及docker-compose部署单主机Kafka集群使用consumer API消费指定Topic里面的消息 ...
Mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager
Kafka 搭建: 建立Zookeeper容器: 这里我们用最简单的方式创建一个独立的Zookeeper节点,如果要考虑zookeeper的高可用,可以将其做成一个集群,最好是能有多台机器. $ do ...
Java程序创建Kafka Topic，以及数据生产消费，常用的命令
转自: Java程序创建Kafka Topic,以及数据生产消费,常用的命令_Zyy_z_的博客-CSDN博客_java kafka创建topicKafka简介: Kafka是一个分布式发布--订阅消 ...
单机搭建kafka集群本地_单机快速搭建多节点kafka集群
有时候为了更好地了解kafka集群的运行机制,需要自己搭建kafka集群.本文的目的就是让大家在单机上快速搭建kafka集群(仅作为单机测试使用). 环境及工具版本 mac OS 10.15.5 ka ...
docker-compose快速搭建kafka集群
文章目录前言 docker-compose快速搭建kafka集群(较详细) docker-compose快速搭建Zookeeper集群+kafka集群参考资料前言当前是在学习kafka3.0的 ...
Linux搭建Kafka开发环境
Linux搭建Kafka开发环境 Kafka是最初由Linkedin公司开发,是一个分布式.支持分区的(partition).多副本的(replica),基于zookeeper协调的分布式消息系统,它 ...
部署kafka kafka的service容器和zookeeper kafka客户端 Elasticsearch的客户端
创建network docker network create -d overlay --attachable loc_net docker stack up -c kafka.yml kafk ...

MAC搭建kafka客户端以及实现生产消费