本文借鉴：再过半小时，你就能明白kafka的工作原理了（特此感谢！）

一、简介

定义：kafka是一个分布式，基于zookeeper协调的发布/订阅模式的消息系统，本质是一个MQ（消息队列Message Queue），主要用于大数据实时处理领域。

目的：解耦、削峰、异步、缓冲（生产大于消费的情况）

日志保留（retention）：我们可以配置主题的消息保留策略，譬如只保留一段时间的日志或者只保留特定大小的日志。当超过这些限制时，老的消息会被删除。我们也可以针对某个主题单独设置消息过期策略，这样对于不同应用可以实现个性化。

PS：消息队列中的消息不是永久存的，会定时删除，自动删除的时间可以配置。

二、消息队列通信的模式

最大的特性就是可以实时的处理大量数据以满足各种需求场景。

1、点对点模式

　　如上图所示，点对点模式通常是基于拉取或者轮询的消息传送模型，这个模型的特点是发送到队列的消息被一个且只有一个消费者进行处理。生产者将消息放入消息队列后，由消费者主动的去拉取消息进行消费。

优点：拉取消息的频率可以由自己控制。

存在缺陷：消费者端无法感知消息队列是否有消息需要消费，所以在消费者端需要额外的线程去监控。

2、发布订阅模式（发布订阅模式其实有两种，kafka用的是发布订阅模式中，消费者主动拉取的模式）

　　如上图所示，发布订阅模式是一个基于消息送的消息传送模型，该模型可以有多种不同的订阅者。生产者将消息放入消息队列后，队列会将消息推送给订阅过该类消息的消费者（类似微信公众号）。由于是消费者被动接收推送，所以无需感知消息队列是否有待消费的消息！但是consumer1、consumer2、consumer3由于机器性能不一样，所以处理消息的能力也会不一样，而消息队列却无法感知消费者消费的速度！所以推送的速度成了发布订阅模模式的一个问题！假设三个消费者处理速度分别是8M/s、5M/s、2M/s，如果队列推送的速度为5M/s，则consumer3无法承受！如果队列推送的速度为2M/s，则consumer1、consumer2会出现资源的极大浪费！

优点：消费者无需感知消息队列是否有待消费的消息。

存在缺陷：服务者无法感知消费者机器的性能，容易造成接收溢出或主机资源浪费。

三、kafka相关名词

　　Producer：Producer即生产者，消息的产生者，是消息的入口。
　　kafka cluster：kafka集群
　　　　Broker（kafka实例，可看做kafka主机）：每个服务器上有一个或多个kafka的实例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号，如图中的broker-0、broker-1等……
　　　　Topic（消息主题，即分类）：可以理解为消息的分类，kafka的数据就保存在topic。在每个broker上都可以创建多个topic。
　　　　Partition（分区）：每个topic可以有多个分区，分区的作用是做负载，提高kafka的吞吐量（并发）。同一个topic在不同的分区的数据是不重复的，partition的表现形式就是一个一个的文件夹！
　　　　Replication（副本）：每一个分区都有多个副本，副本的作用是做备胎。当主分区（Leader）故障的时候会选择一个备胎（Follower）上位，成为Leader。在kafka中默认副本的最大数量是10个，且副本的数量不能大于Broker的数量，follower和leader绝对是在不同的机器，同一机器对同一个分区也只可能存放一个副本（包括自己）。
　　　　Message（消息内容）：每一条发送的消息主体。
　　Consumer：消费者，即消息的消费方，是消息的出口。
　　Consumer Group：我们可以将多个消费组组成一个消费者组，在kafka的设计中同一个分区的数据只能被消费者组中的某一个消费者消费（不同组的消费者可以消费同一个分区的数据）。同一个消费者组的消费者可以消费同一个topic的不同分区的数据，这也是为了提高kafka的吞吐量！
　　Zookeeper：kafka集群依赖zookeeper来保存集群的的元信息，来保证系统的可用性。

四、zookeeper在kafka中的作用

kafka集群的正常使用需要依赖zookeeper，可以帮kafka集群存储一些信息。

zookeeper也可以保存消费者的消费信息，目的是消费者挂了重启后，可以接着上次的消费位置继续消费（消费者内存中也会有一份备份，没挂的时候直接取内存）。