kafka的简单概述及基本命令

一、Kafka简介，什么是kafka

Kafka：消息队列，缓存数据

kafka是一个分布式消息队列，流式计算中，一般用来缓存数据

在流式计算中，Kafka一般用来缓存数据，SparkStream/Flink/Storm通过消费Kafka的数据进行计算。

1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。

2）Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。

3）Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。

4）无论是kafka集群，还是producer和consumer都依赖于zookeeper集群保存一些meta信息，来保证系统可用性。

二、传统的消息队列

点对点：生产者推送队列消费者拉取消息发送反馈消息被删除

发布订阅：生产者推送队列队列将消息推送给订阅的消费者消息不会被删除

Kafka：基于订阅发布生产者推送队列消费者主动拉取

三、kafka组件

生产者 producer

消费者 consumer

Broker 每台kafka相当于broker

Topic 就是一个队列

partition 分区

replication副本

四、kafka写入数据流程

1. 从zookeeper找到leader

2. 将数据返回leader

3. Leader 将数据写入到本地发送ack

4. Follower 同步数据发送ack

五、分区规则：

1. 指定了partition，则直接使用

2. 未指定partition 但指定key，通过对key的vlaue进行hash出一个partition

3. Partition 和 key 都未指定，使用轮询选出一个partition

未指定分区

Key 不为 null abs取绝对值

Math.abs(key.hashcode)%numberpartitions

指定分区

向指定分区写入数据

六、自定义分区器

七、数据保存

数据保存到topic中的分区中 (物理上是一个目录)

顺序写入磁盘

Index 文件

Log文件

八、数据存储策略

基于时间：周期性的从文件末尾删除过期的数据（默认一周）7天

基于大小：周期性的将超过最大值的（默认1G）数据文件重命名生成新的文件，删除旧的文件

九：kafka命令


控制台生产者：
kafka-console-producer.sh --topic test --broker-list hadoop:9092控制台消费者：
kafka-console-consumer.sh --topic test --bootstrap-server hadoop:9092 --from-beginning主题：（topic）
创建主题
kafka-topics.sh --create --topic test --zookeeper hadoop:2181 --partitions 3 --replication-factor 3查看主题
kafka-topics.sh --describe --topic test --zookeeper hadoop:2181查看主题列表
kafka-topics.sh --list --topic test --zookeeper hadoop:2181
kafka-topics.sh --list --zookeeper hadoop:2181删除主题
kafka-topics.sh --delete --zookeeper hadoop:2181 --topic first

需要知识文档的博友请在下方留言评论......