大数据技术之kafka (第 3 章 Kafka 架构深入) 分区策略在分析

如果不懂分区策略请看我之前的文章：https://blog.csdn.net/ywl470812087/article/details/105328015

默认的方式我们采用的是Range策略方式（按主题给消费者消费，主题被谁订阅了就谁消费）

先看下下面这个图，画的很丑，将就看看吧

我们从图知道现在有两个主题 T1 和 T2 它们都有[0,1,2]三个分区，现在有3个消费者A、B、C

A和B是同一个组的， C单独一个组。

消费者A和B、C都订阅了主题T1 ，T2主题只有消费者B订阅了

消费的时候，因为T2主题只有B消费者订阅了，T2的3个分区都要给B消费

对于消费者C很容易理解，主题T1的3个分区只能都给C消费。

对于消费者A和B它们两个都订阅了T1，但是A和B是同一个组的，所以不能把T1主题的分区都发给A和B ，这样就重复消费了，一个主题被一个组消费两次，这时候A和B就要平均分配，3个分区2个消费者，3除以2除不尽，这样就分配不均，这样A就可能被分到主题T1的[0,1]两个分区，B负责消费分区3

大数据技术之kafka (第 3 章 Kafka 架构深入) 分区策略在分析相关推荐

大数据技术原理与应用——第一章大数据概述
第一章大数据概述 1.1 大数据时代 1.1.1 第三次信息化浪潮信息化浪潮发生时间标志解决的问题代表企业第一次浪潮 1980年前后个人计算机信息处理 Intel.AMD.IBM.苹 ...
大数据技术原理与应用——第一章
大数据时代三次信息化浪潮信息化浪潮时间标志解决的问题第一次信息化浪潮 1980 个人计算机信息处理第二次信息化浪潮 1995 互联网信息传输第三次信息化浪潮 2010 大数据.云计 ...
百分点大数据技术团队：可插拔OSS架构设计和实战经验
编者按:随着互联网.大数据和人工智能等技术的发展,信息资源得到最大程度的共享,但随之而来的海量文件存取的功能和性能问题也日渐突出.在政务领域解决方案中,对象存储往往扮演着非常重要的角色,如全国各地的健 ...
大数据技术之Hive 第4章 DDL数据定义语言
第4章 DDL数据定义语言 4.1 创建数据库 CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LO ...
百分点大数据技术团队：互联网舆情系统的架构实践
现代社会是一个信息驱动的社会,每天都有大量的信息产生. 据统计,互联网上每天有数十亿条媒体文章产生,在线信息检索超过500亿次. 伴随着互联网技术的发展和新媒体创新应用,人们越来越倾向于通过微博.微信 ...
大数据技术之Shell 第11章企业真实面试题
第10章正则表达式入门正则表达式使用单个字符串来描述.匹配一系列符合某个句法规则的字符串.在很多文本编辑器里,正则表达式通常被用来检索.替换那些符合某个模式的文本.在Linux中,grep,sed ...
大数据技术之 Flume
为什么选用Flume Python爬虫数据 Java后台日志数据服务器本地磁盘文件夹 HDFS Flume Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到HDFS. 网络端 ...
axure9数据统计插件_WMDA：大数据技术栈的综合实践
一.概述 WMDA是58自主开发的用户行为分析产品,同时也是一款支持无埋点的数据采集产品,只需要在第一次使用的时候加载一段SDK代码,即可采集全量.实时的PC.M.APP三端以及小程序的用户行为数据. ...
大数据技术之MapReduce
大数据技术之MapReduce 目录大数据技术之MapReduce 第 1 章 MapReduce 概述 1.1 MapReduce 定义 1.2 MapReduce 优缺点 1.2.1 优点 1. ...

大数据技术之kafka (第 3 章 Kafka 架构深入) 分区策略在分析

如果不懂分区策略请看我之前的文章：https://blog.csdn.net/ywl470812087/article/details/105328015

默认的方式我们采用的是Range策略方式（按主题给消费者消费，主题被谁订阅了就谁消费）

大数据技术之kafka (第 3 章 Kafka 架构深入) 分区策略在分析相关推荐

最新文章

热门文章