kafka是什么，怎么用？

一、kafka集群搭建

注意的地方：

log.Dirs 这个配置，是存储真实数据的，不是log日志。

delete.topic.enable 这个配置大家注意，如果我们不配置，那么删除Topic的时候，不会真正的删除掉，会做一个标记，那么我们需要手动的去删除所有配置。如果配置了的话，就真正的删除了。

二.kafka简介

Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统

Kafka的优势在于：

可靠性：Kafka是一个具有分区机制、副本机制和容错机制的分布式消息系统
可扩展性：Kafka消息系统支持集群规模的热扩展
高性能：Kafka在数据发布和订阅过程中都能保证数据的高吞吐量。即便在TB级数据存储的情况下，仍然能保证稳定的性能。

三、kafka组件

1.生产者：Producer 是消息生成的源头，负责生产消息并发送到kafka服务器上

2.消费者：Consumer ，负责消费kafka服务器上的消息

3.主题：Topic ，由用户定义配置，用于建立生产者和消费者之间的订阅关系

生产者发送指定的消息到指定的Topic,消费者从这个Topic消费信息

4.消息分区：Partition,一个Topic 下面有多个分区，也是用户指定的

分区存在主从结构，zookeeper作用在该上有leader和follower

leader负责读写，follower负责同步数据

5.Broker ：kafka的服务器ID，一台机器叫一个Broker

6.消费者组：Group ，用于归属同一消费者，在kafka中多个消费者可以共同消费同一个topic下的消息，每个消费者消费其中一部分消息，这些消费者据组成一个分组，拥有同一个分组名称

消费者可以消费一个或者多个分区的数据，相反，一个分区数据同一个分区只能被一个消费者消费

7.Offset

偏移量拉去数据的时候需要知道消息在文件中的偏移量，然后通过偏移量拉去

四、使用场景

1、日志收集

index是字节偏移量存储的是元数据，log存储的是真实的数据

2.消息系统

3.运营指标

4.流式处理

sparkstreaming,flink优于spark

五、kafka的常用命令

新建一个topic

./bin/kafka-topics.sh --create --zookeeper hadoop04:2181,hadoop05:2181,hadoop06:2181 --partition 3 --replication-factor 3 --topic test-0

test-0是topic的名字

replication-factor 3 副本数

topic存储的是元数据，通过它找到真实的数据

改变分区

./bin/kafka-topics.sh --alter --zookeeper 192.168.14.131:2181,192.168.14.131:2182,192.168.14.131:2183 --partition 5 --topic test03

分区信息查询

./bin/kafka-topics.sh --describe --zookeeper hadoop04:2181,hadoop05:2181,hadoop06:2181 --topic test-0

结果为：leader主分区（broker Id） replicationfactor副本数 Isr是否存活（存储的顺序）

Topic:test-0 PartitionCount:3 ReplicationFactor:3 Configs:

Topic: test-0 Partition: 0 Leader: 0 Replicas: 0,2,1 Isr: 0,2,1

Topic: test-0 Partition: 1 Leader: 1 Replicas: 1,0,2 Isr: 1,0,2

Topic: test-0 Partition: 2 Leader: 2 Replicas: 2,1,0 Isr: 2,1,0

查询语句：

bin/kafka-topics.sh --list --zookeeper hadoop04:2181,hadoop05:2181,hadoop06:2181

删除语句

bin/kafka-topics.sh --delete --zookeeper hadoop04:2181,hadoop05:2181,hadoop06:2181 --topic test-0

结果是test-0 - marked for deletion

表示不能真正的删除只是做了个标记要删除取zookeeper去真正删除（这个配置如果设置为true可以真正删除，设置false不能删除）

#删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除

delete.topic.enable=false

rmr /brokers/topics/test-0 ，删除client中的brokers中topic对应的

rmr /config/topics/test-0 ,删配置

rmr /admin/delete_topics，删除admin中的标记为删除的topics

分区设置后只可以增加不可以减少

六API操作

启动生产者

./bin/kafka-console-producer.sh --broker-list 192.168.14.131:9092,192.168.14.132:9092,192.168.14.133:9092 --topic test03

启动消费者

./bin/kafka-console-consumer.sh --zookeeper 192.168.247.131:2181,192.168.247.132:2181,192.168.247.133:2181 --topic test03 --from-beginning