Linux环境Kafka安装配置

1. 认识Kafa

(1) Kafa介绍

• 开源消息系统
• 官网：kafka.apache.org/
• 用途：在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
• Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn公司开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper集群保存一些meta信息，来保证系统可用性。

(2) 消息队列内部实现原理

• <1>. 点对点模式（类似接受文件，一对一，消费者主动拉取数据，消息收到后消息清除） -点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。
• <2>. 发布/订阅模式（类似公众号，一对多，数据生产后，推送给所有订阅者）
  • 发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多种不同的订阅者，临时订阅者只在主动监听主题时才接收消息，而持久订阅者则监听主题的所有消息，即使当前订阅者不可用，处于离线状态。

(3) 为什么需要消息队列

• <1>. 解耦：
  • 允许独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。
• <2>. 冗余：
  • 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。
• <3>. 扩展性：
  • 因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。
• <4>. 灵活性 & 峰值处理能力：
  • 在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。
• <5>. 可恢复性：
  • 系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。
• <6>. 顺序保证：
  • 在大多使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。（Kafka保证一个Partition内的消息的有序性）
• <7>. 缓冲：
  • 有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。
• <8>. 异步通信：
  • 很多时候，用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。

(4) Kafka架构

• **<1>. Producer：**消息生产者，就是向kafka broker发消息的客户端。
• **<2>. Consumer：**消息消费者，向kafka broker取 消息的客户端
• **<3>. Topic：**可以理解为一个队列。
• **<4>. Consumer Group（CG）：**消费者组，kafka提供的可扩展且具有容错性的消费者机制。既然是一个组，那么组内必然可以有多个消费者或消费者实例(consumer instance)，它们共享一个公共的ID，即group ID。组内的所有消费者协调在一起来消费订阅主题(subscribed topics)的所有分区(partition)。当然，每个分区只能由同一个消费组内的一个consumer来消费。
• **<5>. Broker：**一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。
• **<6>. Partition：**为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。kafka只保证按一个partition中的顺序将消息发给consumer，不保证一个topic的整体（多个partition间）的顺序。
• **<7>. Offset：**kafka的存储文件都是按照offset.kafka来命名，用offset做名字的好处是方便查找。例如你想找位于2049的位置，只要找到2048.kafka的文件即可。当然the first offset就是00000000000.kafka

(5) 分布式模型

• Kafka每个主题的多个分区日志分布式地存储在Kafka集群上，同时为了故障容错，每个分区都会以副本的方式复制到多个消息代理节点上。其中一个节点会作为主副本（Leader），其他节点作为备份副本（Follower，也叫作从副本）。主副本会负责所有的客户端读写操作，备份副本仅仅从主副本同步数据。当主副本出现故障时，备份副本中的一个副本会被选择为新的主副本。因为每个分区的副本中只有主副本接受读写，所以每个服务器端都会作为某些分区的主副本，以及另外一些分区的备份副本，这样Kafka集群的所有服务端整体上对客户端是负载均衡的。
• Kafka的生产者和消费者相对于服务器端而言都是客户端。Kafka生产者客户端发布消息到服务端的指定主题，会指定消息所属的分区。生产者发布消息时根据消息是否有键，采用不同的分区策略。消息没有键时，通过轮询方式进行客户端负载均衡；消息有键时，根据分区语义（例如hash）确保相同键的消息总是发送到同一分区。
• Kafka的消费者通过订阅主题来消费消息，并且每个消费者都会设置一个消费组名称。因为生产者发布到主题的每一条消息都只会发送给消费者组的一个消费者。所以，如果要实现传统消息系统的**“队列”模型**，可以让每个消费者都拥有相同的消费组名称，这样消息就会负责均衡到所有的消费者；如果要实现**“发布-订阅”模型**，则每个消费者的消费者组名称都不相同，这样每条消息就会广播给所有的消费者。
• 分区是消费者现场模型的最小并行单位。如下图（图1）所示，生产者发布消息到一台服务器的3个分区时，只有一个消费者消费所有的3个分区。在下图（图2）中，3个分区分布在3台服务器上，同时有3个消费者分别消费不同的分区。假设每个服务器的吞吐量时300MB，在下图（图1）中分摊到每个分区只有100MB，而在下图（图2）中，集群整体的吞吐量有900MB。可以看到，增加服务器节点会提升集群的性能，增加消费者数量会提升处理性能。
• 同一个消费组下多个消费者互相协调消费工作，Kafka会将所有的分区平均地分配给所有的消费者实例，这样每个消费者都可以分配到数量均等的分区。Kafka的消费组管理协议会动态地维护消费组的成员列表，当一个新消费者加入消费者组，或者有消费者离开消费组，都会触发再平衡操作。
• Kafka的消费者消费消息时，只保证在一个分区内的消息的完全有序性，并不保证同一个主题汇中多个分区的消息顺序。而且，消费者读取一个分区消息的顺序和生产者写入到这个分区的顺序是一致的。比如，生产者写入“hello”和“Kafka”两条消息到分区P1，则消费者读取到的顺序也一定是“hello”和“Kafka”。如果业务上需要保证所有消息完全一致，只能通过设置一个分区完成，但这种做法的缺点是最多只能有一个消费者进行消费。
• 一般来说，只需要保证每个分区的有序性，再对消息键(message Key可以是user id等)来保证相同键的所有消息落入同一分区，就可以满足绝大多数的应用。
• kafka读写流程图：

3. Kafka-2.11安装流程

(1) 准备工作

• ZooKeeper集群环境

(2) 解压kafka_2.11-2.1.1.tgz安装包到目标目录下：

• tar -zxvf .tgz -C 目标目录

(3) 为后续方便，重命名Kafka文件夹：

• mv kafka_2.11-2.1.1/ kafka_2.11

(4) 在/opt/module/kafka目录下创建logs文件夹

• mkdir logs

(5) 修改配置文件

• cd config/
• vi server.properties

  • #broker的全局唯一编号，不能重复
    broker.id=0
    #是否允许删除topic
    delete.topic.enable=true
    #处理网络请求的线程数量
    num.network.threads=3
    #用来处理磁盘IO的线程数量
    num.io.threads=8
    #发送套接字的缓冲区大小
    socket.send.buffer.bytes=102400
    #接收套接字的缓冲区大小
    socket.receive.buffer.bytes=102400
    #请求套接字的最大缓冲区大小
    socket.request.max.bytes=104857600
    #kafka运行日志存放的路径
    log.dirs=/opt/module/kafka/logs
    #topic在当前broker上的分区个数
    num.partitions=1
    #用来恢复和清理data下数据的线程数量
    num.recovery.threads.per.data.dir=1
    #segment文件保留的最长时间，超时将被删除
    log.retention.hours=168
    #配置连接Zookeeper集群地址
    zookeeper.connect=XXXX:2181,XXXX:2181,XXXX:2181
    复制代码

• <1>. Broker配置信息
• <2>. Producer配置信息
• <3>.Consumer配置信息

(6) 配置环境变量：

• 修改配置文件：
  • vi /etc/profile
• 增加以下内容：
  • export KAFKA_HOME=kafka安装路径
  • export PATH=$PATH:$KAFKA_HOME/bin
• 声明环境变量：
  • source /etc/profile

(7) 集群配置：

• 拷贝配置好的kafka到其他机器上
  • scp -r kafka_2.11/ bigdata02:$PWD
    • scp -r kafka_2.11/ bigdata03:$PWD
• 修改配置信息broker.id (注：broker.id不得重复)
• 配置相应环境变量

(8) 启动集群

• 依次在bigdata11、bigdata12、bigdata13节点上启动kafka(加上&是在后台启动)
  • kafka-server-start.sh config/server.properties &

(9) 关闭集群

• kafka-server-stop.sh stop

4. Kafka命令行操作

(1) 查看当前服务器中的所有topic

• kafka-topics.sh --zookeeper XXXX:2181 --list

(2) 创建topic

• kafka-topics.sh --zookeeper XXXX:2181 --create --replication-factor 3 --partitions 1 --topic 名称
• 选项说明：
  • --topic 定义topic名
  • --replication-factor 定义副本数
  • --partitions 定义分区数

(3) 删除topic

• kafka-topics.sh --zookeeper XXXX:2181 --delete --topic first
• 需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

(4) 发送消息

• kafka-console-producer.sh --broker-list XXXX:9092 --topic first

(5) 消费消息

• kafka-console-consumer.sh --bootstrap-server node3:9092 --from-beginning --topic first
• --from-beginning：会把first主题中以往所有的数据都读取出来。根据业务场景选择是否增加该配置。

(6) 查看某个Topic的详情

• kafka-topics.sh --zookeeper XXXX:2181 --describe --topic first

5. Kafka工作流程分析

(1) Kafka生产过程分析

• <1>. 写入方式

  • producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。

• <2>. 分区（Partition）

  • Kafka集群有多个消息代理服务器（broker-server）组成，发布到Kafka集群的每条消息都有一个类别，用主题（topic）来表示。通常，不同应用产生不同类型的数据，可以设置不同的主题。一个主题一般会有多个消息的订阅者，当生产者发布消息到某个主题时，订阅了这个主题的消费者都可以接收到生成者写入的新消息。

  • Kafka集群为每个主题维护了分布式的分区（partition）日志文件，物理意义上可以把主题（topic）看作进行了分区的日志文件（partition log）。主题的每个分区都是一个有序的、不可变的记录序列，新的消息会不断追加到日志中。分区中的每条消息都会按照时间顺序分配到一个单调递增的顺序编号，叫做偏移量（offset），这个偏移量能够唯一地定位当前分区中的每一条消息。

  • 消息发送时都被发送到一个topic，其本质就是一个目录，而topic是由一些Partition Logs(分区日志)组成，其组织结构如下图所示：

  • 下图中的topic有3个分区，每个分区的偏移量都从0开始，不同分区之间的偏移量都是独立的，不会相互影响。

  • 可以看到，每个Partition中的消息都是有序的，生产的消息被不断追加到Partition log上，其中的每一个消息都被赋予了一个唯一的offset值。

  • 发布到Kafka主题的每条消息包括键值和时间戳。消息到达服务器端的指定分区后，都会分配到一个自增的偏移量。**原始的消息内容和分配的偏移量以及其他一些元数据信息最后都会存储到分区日志文件中。**消息的键也可以不用设置，这种情况下消息会均衡地分布到不同的分区。

  • 分区的原因:

    • a. 方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个topic又可以有多个Partition组成，因此整个集群就可以适应任意大小的数据；
    • b. 可以提高并发，因为可以以Partition为单位读写。
      • 传统消息系统在服务端保持消息的顺序，如果有多个消费者消费同一个消息队列，服务端会以消费存储的顺序依次发送给消费者。**但由于消息是异步发送给消费者的，消息到达消费者的顺序可能是无序的，这就意味着在并行消费时，传统消息系统无法很好地保证消息被顺序处理。**虽然我们可以设置一个专用的消费者只消费一个队列，以此来解决消息顺序的问题，但是这就使得消费处理无法真正执行。
      • Kafka比传统消息系统有更强的顺序性保证，它使用主题的分区作为消息处理的并行单元。**Kafka以分区作为最小的粒度，将每个分区分配给消费者组中不同的而且是唯一的消费者，并确保一个分区只属于一个消费者，即这个消费者就是这个分区的唯一读取线程。那么，只要分区的消息是有序的，消费者处理的消息顺序就有保证。**每个主题有多个分区，不同的消费者处理不同的分区，所以Kafka不仅保证了消息的有序性，也做到了消费者的负载均衡。

  • 分区的原则:

    • a. 指定了patition，则直接使用；
    • b. 未指定patition但指定key，通过对key的value进行hash出一个patition
    • c. patition和key都未指定，使用轮询选出一个patition。

• <3>. 副本（Replication） 同一个partition可能会有多个replication（对应 server.properties 配置中的 default.replication.factor=N）。没有replication的情况下，一旦broker 宕机，其上所有 patition 的数据都不可被消费，同时producer也不能再将数据存于其上的patition。引入replication之后，同一个partition可能会有多个replication，而这时需要在这些replication之间选出一个leader，producer和consumer只与这个leader交互，其它replication作为follower从leader 中复制数据。

• <4>. 写入流程

  • producer写入消息流程如下：
    • a. producer先从zookeeper的 "/brokers/.../state"节点找到该partition的leader
    • b. producer将消息发送给该leader
    • c. leader将消息写入本地log
    • d. followers从leader pull消息，写入本地log后向leader发送ACK
    • a. leader收到所有ISR中的replication的ACK后，增加HW（high watermark，最后commit 的offset）并向producer发送ACK

(2) Broker 保存消息

• a. 存储方式
  • 物理上把topic分成一个或多个patition（对应 server.properties 中的num.partitions=3配置），每个patition物理上对应一个文件夹（该文件夹存储该patition的所有消息和索引文件）。
• b. 存储策略
  • 无论消息是否被消费，kafka都会保留所有消息。有两种策略可以删除旧数据：
    • 基于时间：log.retention.hours=168
    • 基于大小：log.retention.bytes=1073741824
  • 需要注意的是，因为Kafka读取特定消息的时间复杂度为O(1)，即与文件大小无关，所以这里删除过期文件与提高 Kafka 性能无关。

(3) Zookeeper存储结构

• 注意：producer不在zk中注册，消费者在zk中注册。

6. Kafka消费过程分析

• kafka提供了两套consumer API：高级Consumer API和低级API。

(1) 消费模型

• 消息由生产者发布到Kafka集群后，会被消费者消费。消息的消费模型有两种：推送模型（push）和拉取模型（pull）。

• 基于推送模型（push）的消息系统，由消息代理记录消费者的消费状态。消息代理在将消息推送到消费者后，标记这条消息为已消费，但这种方式无法很好地保证消息被处理。比如，消息代理把消息发送出去后，当消费进程挂掉或者由于网络原因没有收到这条消息时，就有可能造成消息丢失（因为消息代理已经把这条消息标记为已消费了，但实际上这条消息并没有被实际处理）。如果要保证消息被处理，消息代理发送完消息后，要设置状态为“已发送”，只有收到消费者的确认请求后才更新为“已消费”，这就需要消息代理中记录所有的消费状态，这种做法显然是不可取的。

• Kafka采用拉取模型，**由消费者自己记录消费状态，每个消费者互相独立地顺序读取每个分区的消息。**如下图所示，有两个消费者（不同消费者组）拉取同一个主题的消息，消费者A的消费进度是3，消费者B的消费进度是6。消费者拉取的最大上限通过最高水位（watermark）控制，生产者最新写入的消息如果还没有达到备份数量，对消费者是不可见的。这种由消费者控制偏移量的优点是：**消费者可以按照任意的顺序消费消息。**比如，消费者可以重置到旧的偏移量，重新处理之前已经消费过的消息；或者直接跳到最近的位置，从当前的时刻开始消费。

• 在一些消息系统中，消息代理会在消息被消费之后立即删除消息。如果有不同类型的消费者订阅同一个主题，消息代理可能需要冗余地存储同一消息；或者等所有消费者都消费完才删除，这就需要消息代理跟踪每个消费者的消费状态，这种设计很大程度上限制了消息系统的整体吞吐量和处理延迟。Kafka的做法是生产者发布的所有消息会一致保存在Kafka集群中，不管消息有没有被消费。用户可以通过设置保留时间来清理过期的数据，比如，设置保留策略为两天。那么，在消息发布之后，它可以被不同的消费者消费，在两天之后，过期的消息就会自动清理掉。

(2) 高级API

• a. 高级API优点
  • 高级API写起来简单；
  • 不需要自行去管理offset，系统通过zookeeper自行管理；
  • 不需要管理分区，副本等情况，系统自动管理；
  • 消费者断线会自动根据上一次记录在zookeeper中的offset去接着获取数据（默认设置1分钟更新一下zookeeper中存的offset）
  • 可以使用group来区分对同一个topic 的不同程序访问分离开来（不同的group记录不同的offset，这样不同程序读取同一个topic才不会因为offset互相影响）
• b. 高级API缺点
  • 不能自行控制offset（对于某些特殊需求来说）
  • 不能细化控制如分区、副本、zk等

(3) 低级API

• a. 低级 API 优点
  • 能够让开发者自己控制offset，想从哪里读取就从哪里读取。
  • 自行控制连接分区，对分区自定义进行负载均衡
  • 对zookeeper的依赖性降低（如：offset不一定非要靠zk存储，自行存储offset即可，比如存在文件或者内存中）
• b. 低级API缺点
  • 太过复杂，需要自行控制offset，连接哪个分区，找到分区leader 等。

(4) 消费者组

• 消费者是以consumer group消费者组的方式工作，由一个或者多个消费者组成一个组，共同消费一个topic。每个分区在同一时间只能由group中的一个消费者读取，但是多个group可以同时消费这个partition。在图中，有一个由三个消费者组成的group，有一个消费者读取主题中的两个分区，另外两个分别读取一个分区。某个消费者读取某个分区，也可以叫做某个消费者是某个分区的拥有者。
• 在这种情况下，消费者可以通过水平扩展的方式同时读取大量的消息。另外，如果一个消费者失败了，那么其他的group成员会自动负载均衡读取之前失败的消费者读取的分区。

(5) 消费方式

• consumer采用pull（拉）模式从broker中读取数据。
• push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息，但是这样很容易造成consumer来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。而pull模式则可以根据consumer的消费能力以适当的速率消费消息。
• 对于Kafka而言，pull模式更合适，它可简化broker的设计，consumer可自主控制消费消息的速率，同时consumer可以自己控制消费方式——即可批量消费也可逐条消费，同时还能选择不同的提交方式从而实现不同的传输语义。
• pull模式不足之处是，如果kafka没有数据，消费者可能会陷入循环中，一直等待数据到达。为了避免这种情况，我们在我们的拉请求中有参数，允许消费者请求在等待数据到达的“长轮询”中进行阻塞（并且可选地等待到给定的字节数，以确保大的传输大小）。