2021年大数据Kafka(十一):❤️Kafka的消费者负载均衡机制和数据积压问题❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注!
新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。
目录
系列历史文章
Kafka的消费者负载均衡机制和数据积压问题
一、kafka的消费者负载均衡机制
二、数据积压问题
第一步: 使用kafka-eagle查看数据积压情况
第二步: 解决数据积压问题
系列历史文章
2021年大数据Kafka(十二):❤️Kafka配额限速机制❤️
2021年大数据Kafka(十一):❤️Kafka的消费者负载均衡机制和数据积压问题❤️
2021年大数据Kafka(十):kafka生产者数据分发策略
2021年大数据Kafka(九):kafka消息存储及查询机制原理
2021年大数据Kafka(八):Kafka如何保证数据不丢失
2021年大数据Kafka(七):Kafka的分片和副本机制
2021年大数据Kafka(六):❤️安装Kafka-Eagle❤️
2021年大数据Kafka(五):❤️Kafka的java API编写❤️
2021年大数据Kafka(四):❤️kafka的shell命令使用❤️
2021年大数据Kafka(三):❤️Kafka的集群搭建以及shell启动命令脚本编写❤️
2021年大数据Kafka(二):❤️Kafka特点总结和架构❤️
2021年大数据Kafka(一):❤️消息队列和Kafka的基本介绍❤️
Kafka的消费者负载均衡机制和数据积压问题
一、kafka的消费者负载均衡机制
问题: 请问如何通过kafka模拟点对点和发布订阅模式呢?
点对点: 让所有监听这个topic的消费者, 都属于同一个消费者组即可或者监听这个topic消费者, 保证唯一
发布订阅:定义多个消费者, 让多个消费者属于不同组即可
二、数据积压问题
Kafka消费者消费数据的速度是非常快的,但如果由于处理Kafka消息时,由于有一些外部IO、或者是产生网络拥堵,就会造成Kafka中的数据积压(或称为数据堆积)。如果数据一直积压,会导致数据出来的实时性受到较大影响。
第一步: 使用kafka-eagle查看数据积压情况
第二步: 解决数据积压问题
出现积压的原因:
- 因为数据写入目的容器失败,从而导致消费失败
- 因为网络延迟消息消费失败
- 消费逻辑过于复杂, 导致消费过慢,出现积压问题
解决方案:
- 对于第一种, 我们常规解决方案, 处理目的容器,保证目的容器是一直可用状态
- 对于第二种, 如果之前一直没问题, 只是某一天出现, 可以调整消费的超时时间
- 对于第三种, 一般解决方案,调整消费代码, 消费更快即可, 利于消费者的负载均衡策略,提升消费者数量
-
2021年大数据Kafka(十一):❤️Kafka的消费者负载均衡机制和数据积压问题❤️相关推荐
- Citrix 服务器虚拟化之三十一 XenApp 6.5负载均衡
Citrix 服务器虚拟化之三十一 XenApp 6.5负载均衡 说明: 环境基于实验三十 1.准备一台Windows Server 2008 R2的虚拟机名为XenAPP2,然后加入域k ...
- 论文阅读四:基于流分类的数据中心网络负载均衡机制
名词解释: Utilization-aware Load-balancing based on Flow Classification, ULFC:基于流分类的数据中心网络负载均衡机制 Equal-C ...
- 负载均衡服务器性能数据,用缓存服务器负载均衡 提数据库查询效率
[IT168 资讯] 根据一些专家的调查分析,发现企业在使用数据库的时候,90%以上主要用来查询.有些企业这个比例甚至更高.也就说,用户对数据库的操作,其实更新操作占的比例很少.大部分的操走都只是查询 ...
- linux加权_「学员笔记」LINUX随堂笔记(十一):LVS负载均衡群集
第12章 LVS负载均衡群集 一.群集概述 1.1 群集的类型 无论是哪种群集,都至少包括两台节点服务器,而对外表现为一个整体,只提供一个访问入口(域名或IP地址),相当于一台大型计算机,根据群集所提 ...
- MyCat实战--读写分离/数据分片/mycat集群/haproxy负载均衡
目录 简介 优势 关键特性 读写分离 安装mycat 配置mycat server.xml schema.xml rule.xml 启动mycat 停止mycat 连接mycat 测试 数据分片 配置 ...
- 阿里云导出负载均衡SLB实例数据
前言 阿里云工作台支持调用openapi完成一系列操作,因为公司需要定期导出实例配置统计,所以尝试写了个python脚本. api调用:aliyun-python-sdk-slb 说明 aliyun_ ...
- RHCS套件的高可用负载均衡和本地数据存储
一 高可用负载均衡 1. 在server1和server4端安装nginx,并建立用户nginx,在/etc/secuirty/limit.conf中设定限制,usr/local/nginx/con ...
- 2021年大数据Kafka(十二):❤️Kafka配额限速机制❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 Kafka配额限速机制 限制producer端的速率 限制c ...
- 2021年大数据Kafka(十):kafka生产者数据分发策略
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 生产者数据分发策略 策略一:用户指定了partition 策 ...
最新文章
- Redis事务,ACID性质,但是Redis不支持事务回滚
- 中国海外投资在非洲市场的开放政策
- 深夜学算法之SkipList:让链表飞
- Java中“/”,“.”所代表的文件路径
- T-SQL象数组一样处理字符串、分割字符串
- Python:通过命令行发送新浪微博
- SPHYSICS流体力学仿真模拟程序的动态链接库编译及C#混合编程方法
- Wi-Fi 6 BSS着色和空间重用白皮书
- 软考——系统架构设计师工作日志
- Postman测试工具调试接口详细教程【向后端发送Json数据并接收返回的Json结果】
- GNN、GCN、GAT关系
- 量子计算(9)编程实践1:构造贝尔态
- skylin TerraExplorer自定义飞行路线如何监听结束事件
- 利用菜单配置文件生成菜单
- 关于windows10下前面板插入耳机没有声音
- 2020秋招金九银十程序员离职跳槽指南,作为过来人想对你们说这几点
- 天气预报 接口数据获取
- hdu 4587 TWO NODES(强连通分量)
- mysql更新数据_MySQL更新表数据
- 《拆掉思维里的墙》 古典 (初读此书,相见恨晚!)
热门文章
- Citrix 服务器虚拟化之三十一 XenApp 6.5负载均衡