#博学谷it学习技术支持#kafka及异步通知文章上下架

一、自媒体文章上下架

二、Kafka概述

三、kafka安装配置

四、kafka入门

五、kafka高可用设计

六、kafka生产者详解

七、kafka消费者详解

八、springboot集成kafka

九、自媒体文章上下架功能完成

day6 kafka及异步通知文章上下架

一、自媒体文章上下架

需求分析

消息通知的其他需求

今日内容

二、Kafka概述

消息中间件对比

消息中间件对比-选择建议

kafka介绍

Kafka 是一个分布式流媒体平台,类似于消息队列或企业消息传递系统。kafka官网：http://kafka.apache.org/

kafka介绍-名词解释

producer：发布消息的对象称之为主题生产者（Kafka topic producer）

topic：Kafka将消息分门别类，每一类的消息称之为一个主题（Topic）

consumer：订阅消息并处理发布的消息的对象称之为主题消费者（consumers）

broker：已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服务器都是一个代理（Broker）。消费者可以订阅一个或多个主题（topic），并从Broker拉数据，从而消费这些已发布的消息。

三、kafka安装配置

Kafka对于zookeeper是强依赖，保存kafka相关的节点数据，所以安装Kafka之前必须先安装zookeeper

四、kafka入门

生产者发送消息，多个消费者只能有一个消费者接收到消息

生产者发送消息，多个消费者都可以接收到消息

（1）创建kafka-demo项目，导入依赖

（2）生产者发送消息

（3）消费者接收消息

总结

生产者发送消息，多个消费者订阅同一个主题，只能有一个消费者收到消息（一对一）

生产者发送消息，多个消费者订阅同一个主题，所有消费者都能收到消息（一对多）

五、kafka高可用设计

5.1)集群

Kafka 的服务器端由被称为 Broker 的服务进程构成，即一个 Kafka 集群由多个 Broker 组成

这样如果集群中某一台机器宕机，其他机器上的 Broker 也依然能够对外提供服务。这其实就是 Kafka 提供高可用的手段之一

5.2)备份机制(Replication）

Kafka 中消息的备份又叫做副本（Replica）Kafka 定义了两类副本：

领导者副本（Leader Replica）

追随者副本（Follower Replica）

同步方式

ISR（in-sync replica）需要同步复制保存的follower

如果leader失效后，需要选出新的leader，选举的原则如下：

第一：选举时优先从ISR中选定，因为这个列表中follower的数据是与leader同步的

第二：如果ISR列表中的follower都不行了，就只能从其他follower中选取

极端情况，就是所有副本都失效了，这时有两种方案

第一：等待ISR中的一个活过来，选为Leader，数据可靠，但活过来的时间不确定

第二：选择第一个活过来的Replication，不一定是ISR中的，选为leader，以最快速度恢复可用性，但数据不一定完整

六、kafka生产者详解

6.1)发送类型

同步发送

使用send()方法发送，它会返回一个Future对象，调用get()方法进行等待，就可以知道消息是否发送成功

异步发送

调用send()方法，并指定一个回调函数，服务器在返回响应时调用函数

6.2)参数详解

ack

代码的配置方式：

参数的选择说明

retries

生产者从服务器收到的错误有可能是临时性错误，在这种情况下，retries参数的值决定了生产者可以重发消息的次数，如果达到这个次数，生产者会放弃重试返回错误，默认情况下，生产者会在每次重试之间等待100ms

代码中配置方式

消息压缩

默认情况下，消息发送时不会被压缩。

代码中配置方式：

使用压缩可以降低网络传输开销和存储开销，而这往往是向 Kafka 发送消息的瓶颈所在。

七、kafka消费者详解

7.1)消费者组

消费者组（Consumer Group）：指的就是由一个或多个消费者组成的群体

一个发布在Topic上消息被分发给此消费者组中的一个消费者

所有的消费者都在一个组中，那么这就变成了queue模型

所有的消费者都在不同的组中，那么就完全变成了发布-订阅模型

7.2)消息有序性

应用场景：

即时消息中的单对单聊天和群聊，保证发送方消息发送顺序与接收方的顺序一致

充值转账两个渠道在同一个时间进行余额变更，短信通知必须要有顺序

topic分区中消息只能由消费者组中的唯一一个消费者处理，所以消息肯定是按照先后顺序进行处理的。但是它也仅仅是保证Topic的一个分区顺序处理，不能保证跨分区的消息先后处理顺序。所以，如果你想要顺序的处理Topic的所有消息，那就只提供一个分区。

7.3)提交和偏移量

kafka不会像其他JMS队列那样需要得到消费者的确认，消费者可以使用kafka来追踪消息在分区的位置（偏移量）

消费者会往一个叫做_consumer_offset的特殊主题发送消息，消息里包含了每个分区的偏移量。如果消费者发生崩溃或有新的消费者加入群组，就会触发再均衡

正常的情况

如果消费者2挂掉以后，会发生再均衡，消费者2负责的分区会被其他消费者进行消费再均衡后不可避免会出现一些问题

问题一：

如果提交偏移量小于客户端处理的最后一个消息的偏移量，那么处于两个偏移量之间的消息就会被重复处理。

问题二：

如果提交的偏移量大于客户端的最后一个消息的偏移量，那么处于两个偏移量之间的消息将会丢失。

如果想要解决这些问题，还要知道目前kafka提交偏移量的方式：提交偏移量的方式有两种，分别是自动提交偏移量和手动提交

自动提交偏移量

当enable.auto.commit被设置为true，提交方式就是让消费者自动提交偏移量，每隔5秒消费者会自动把从poll()方法接收的最大偏移量提交上去

手动提交，当enable.auto.commit被设置为false可以有以下三种提交方式

提交当前偏移量（同步提交）

异步提交

同步和异步组合提交

1.提交当前偏移量（同步提交）

把`enable.auto.commit`设置为false,让应用程序决定何时提交偏移量。使用commitSync()提交偏移量，commitSync()将会提交poll返回的最新的偏移量，所以在处理完所有记录后要确保调用了commitSync()方法。否则还是会有消息丢失的风险。

只要没有发生不可恢复的错误，commitSync()方法会一直尝试直至提交成功，如果提交失败也可以记录到错误日志里。

2.异步提交

手动提交有一个缺点，那就是当发起提交调用时应用会阻塞。当然我们可以减少手动提交的频率，但这个会增加消息重复的概率（和自动提交一样）。另外一个解决办法是，使用异步提交的API。

3.同步和异步组合提交

异步提交也有个缺点，那就是如果服务器返回提交失败，异步提交不会进行重试。相比较起来，同步提交会进行重试直到成功或者最后抛出异常给应用。异步提交没有实现重试是因为，如果同时存在多个异步提交，进行重试可能会导致位移覆盖。

举个例子，假如我们发起了一个异步提交commitA，此时的提交位移为2000，随后又发起了一个异步提交commitB且位移为3000；commitA提交失败但commitB提交成功，此时commitA进行重试并成功的话，会将实际上将已经提交的位移从3000回滚到2000，导致消息重复消费。

八、springboot集成kafka

8.1)入门

1.导入spring-kafka依赖信息

2.在resources下创建文件application.yml

3.消息生产者

4.消息消费者

8.2)传递消息为对象

目前springboot整合后的kafka，因为序列化器是StringSerializer，这个时候如果需要传递对象可以有两种方式

方式一：可以自定义序列化器，对象类型众多，这种方式通用性不强，本章节不介绍

方式二：可以把要传递的对象进行转json字符串，接收消息后再转为对象即可，本项目采用这种方式

发送消息

接收消息

九、自媒体文章上下架功能完成

9.1)需求分析

- 已发表且已上架的文章可以下架

- 已发表且已下架的文章可以上架

9.2)流程说明

9.3)接口定义

DTO

ResponseResult

9.4)自媒体文章上下架-功能实现

9.4.1)接口定义

在heima-leadnews-wemedia工程下的WmNewsController新增方法

在WmNewsDto中新增enable属性，完整的代码如下：

9.4.2)业务层编写

在WmNewsService新增方法

实现方法

9.4.3)控制器

9.4.4)测试

9.5)消息通知article端文章上下架

9.5.1)在heima-leadnews-common模块下导入kafka依赖

9.5.2)在自媒体端的nacos配置中心配置kafka的生产者

9.5.3)在自媒体端文章上下架后发送消息

常量类：

9.5.4)在article端的nacos配置中心配置kafka的消费者

9.5.5)在article端编写监听，接收数据

9.5.6)修改ap_article_config表的数据

新建ApArticleConfigService

实现类：

#博学谷it学习技术支持#kafka及异步通知文章上下架相关推荐

#博学谷it学习技术支持#黑马头条知识点1
#博学谷it学习技术支持#黑马头条知识点1 目录: 一.文章列表加载二.Freemarker 三.对象存储服务MinIO 四.文章详情功能黑马头条day2 一. 文章列表加载 1)需求分析 2)表 ...
#博学谷it学习技术支持#黑马头条遇到问题及解决1
#博学谷it学习技术支持#黑马头条遇到问题及解决1 目录: 1.在网关中如何在request中获取header? 2.若前端不报错,后端也不报错,但返回给前端的页面内容不对,或者没返回任何内容,此时应 ...
#博学谷it学习技术支持#探花交友项目：用户登录
#博学谷it学习技术支持#探花交友项目:用户登录目录: 一.基本执行流程二.Service模块内容的编写: 三.Dabbo模块下: 四.model(实体类)模块下: 五.思维导图正文: 用户登录 ...
Vue.js项目实战开发（4）- 必掌握知识点 - #博学谷IT学习技术支持#
文章目录生命周期.axios 1. vue生命周期 1.0_人的-生命周期 1.1_钩子函数 1.2_初始化阶段 1.3_挂载阶段 1.4_更新阶段 1.5_销毁阶段 2. axios 2.0_ax ...
Vue.js项目实战开发（1）- 必掌握知识点 - #博学谷IT学习技术支持#
文章目录 (补充) 前后端的身份认证第一章 webpack+vue基础 Vue前置知识 1-1 ES6模块化 1. 回顾:node.js 中如何实现模块化 2. 前端模块化规范的分类 3. 什么是 ...
机器学习，深度学习，环境搭建 #博学谷IT学习技术支持#
目录一 Anaconda 1 Anaconda环境搭建 2 Anaconda的使用 3 启动jupyter服务. 4 DateSpell 5 之后都是通过Linux系统启动jupyter服务. ...
CSS - 移动Web网页开发（2）- 必掌握知识点 - #博学谷IT学习技术支持#
文章目录移动端布局(续) 四.rem 移动端适配 1. 移动适配 2. rem 3. rem-移动适配-媒体查询(设置差异化的CSS样式)[基本原理] 4. flexible 五.Less 1. L ...
隐马尔可夫模型 #博学谷IT学习技术支持#
一.隐马尔可夫模型HMM 1 隐马尔可夫模型 Hidden Markov Model(HMM) 的假设,对于两个时序序列联合分部 p(x,y),x序列,外界可见,称为观测序列,y序列外,外界不可见,称 ...
机器学习总结3 #博学谷IT学习技术支持#
目录七.CART 分类决策树 1. Cart树简介 2. 基尼指数计算公式 3. 基尼指数计算举例 3.1 是否有房 4. Cart分类树原理七.CART 分类决策树 1. Cart树简介 CAR ...

#博学谷it学习技术支持#kafka及异步通知文章上下架

#博学谷it学习技术支持#kafka及异步通知文章上下架相关推荐

最新文章

热门文章