再看KafkaLag

原再看Kafka Laghttps://blog.csdn.net/u013256816/article/details/80032594版权声明：本文为博主原创文章，未经博主朱小厮允许不得转载。 https://blog.csdn.net/u013256816/article/details/80032594
欢迎支持笔者新作：《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》，同时欢迎关注笔者的微信公众号：朱小厮的博客。
在《Kafka的Lag计算误区及正确实现》一文中提及了kafka.admin.ConsumerGroupCommand.PartitionAssignmentState无法被外部访问，故要么将PartitionAssignmentState前的protected修饰符去掉，要么像《如何获取Kafka的消费者详情》和《集群管理工具KafkaAdminClient——改造》这两篇这样来实现，但是真的需要这样子做么？
可以直接将describeGroup返回的结果转换成JSON然后传至监控页面（supported by YANGliiN oba）。代码如下：
String[] agrs = {"--describe", "--bootstrap-server", brokers, "--group", groupId};
ConsumerGroupCommand.ConsumerGroupCommandOptions options =
new ConsumerGroupCommand.ConsumerGroupCommandOptions(agrs);
ConsumerGroupCommand.KafkaConsumerGroupService kafkaConsumerGroupService =
new ConsumerGroupCommand.KafkaConsumerGroupService(options);
ObjectMapper mapper = new ObjectMapper();
//1. 使用jackson-module-scala_2.12
mapper.registerModule(new DefaultScalaModule());
//2. 反序列化时忽略对象不存在的属性
mapper.configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false);
//3. 将Scala对象序列化成JSON字符串
String source = mapper.writeValueAsString(kafkaConsumerGroupService.describeGroup()._2.get());
1
2
3
4
5
6
7
8
9
10
11
12
这里需要采用的是jackson-module-scala的包实现，如果直接用普通的JSON序列化方式那么会达不到想要的效果，jackson以及jackson-module-scala对应的Maven库如下：
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-core</artifactId>
<version>2.9.4</version>
</dependency>
<dependency>
<groupId>com.fasterxml.jackson.module</groupId>
<artifactId>jackson-module-scala_2.12</artifactId>
<version>2.9.5</version>
</dependency>
1
2
3
4
5
6
7
8
9
10
注意如果本地安装的Scala版本与所配置的jackson-module-scala版本不一致的话会报出一些异常。发散一下思维：既然可以序列化为JSON，那么完全可以通过JSON再反序列化会对象，只不过通过JSON作为中间媒介，将访问受限的Scala对象转变为Java对象，上面剩余代码如下：
//4. 将JSON字符串反序列化成Java对象
List<PartitionAssignmentState> target = mapper.readValue(source,
getCollectionType(mapper,List.class,PartitionAssignmentState.class));
//5. 排序
target.sort((o1, o2) -> o1.getPartition() - o2.getPartition());
//6. 打印
printPasList(target);
1
2
3
4
5
6
7
如此就可以达到与前面几篇文章中关于获取消费者详情功能同样的效果。这里有两个注意要点：
PartitionAssignmentState中的coordinator是Node类型，这个类型需要自定义，Kafka原生的会报错。
反序列化时Node会有一个empty的属性不识别，解决方案参考代码中的步骤2.
代码更多细节请参考：https://github.com/hiddenzzh/kafka/blob/master/src/main/java/com/hidden/custom/kafka/admin/KafkaConsumerGroupScalaService.java
通过JSON的序列化和反序列化操作实现了原本不能为之的事情，那么思维再发散一下，也可以序列化成字节流，比如通过ByteBuffer进行转换，只不过编程逻辑变得复杂了。
上面这段陈述有可能会让人觉得Scala与Java之间的互操作起来不容易，其实不然，上面这段陈述只是用来补充一下如何获取消费者详情的另一种方法，Scala与Java之间的互操作还是比较简单的，一般情况下都可以直接使用对方的类。对于集合而言，Scala中还有用于Scala与Java集合的互转的scala.collection.JavaConverters（scala2.8.1开始引入），与此雷同的scala.collection.JavaConversions已被标注为@Deprecated（since 2.12.0）。在scala代码中如果需要集合转换，首先引入scala.collection.JavaConverters._，进而显示调用asJava或者asScala方法完成转型。关于Scala与Java集合互转的介绍会在下一篇文章中呈现。
欢迎支持笔者新作：《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》，同时欢迎关注笔者的微信公众号：朱小厮的博客。

再看KafkaLag相关推荐

qtdesigner怎么实现菜单栏跳转_3种公众号菜单栏设置类型，手把手教你做，不会的话那就再看一遍...
常见的菜单栏设置怎么去设置呢?在我们的公众号左侧的菜单栏中,你可以找到我们的自定义菜单,这个功能,点击进去之后,你就可以看到菜单的内容,它可以有三种类型可选:一种叫发送消息,一种叫跳转网页,一种叫跳转 ...
长得类似铁甲小宝的机器人_铁甲小宝：小时候只顾看机器人忽略重点，长大后再看：是我太天真...
铁甲小宝:小时候只顾看机器人忽略重点,长大后再看:是我太天真铁甲小宝相亲大家都是看过的,作为早期的三大人特摄之一,铁甲小宝针对的完全就是儿童,小时候我们也是很喜欢这部作品,只是现在在荧幕上已经很难看 ...
OpenCV学习笔记（四十一）——再看基础数据结构core OpenCV学习笔记（四十二）——Mat数据操作之普通青年、文艺青年、暴力青年 OpenCV学习笔记（四十三）——存取像素值操作汇总co
OpenCV学习笔记(四十一)--再看基础数据结构core 记得我在OpenCV学习笔记(四)--新版本的数据结构core里面讲过新版本的数据结构了,可是我再看这部分的时候,我发现我当时实在是看得太马 ...
android 智能指针的学习先看邓凡平的书扫盲再看前面两片博客提升
android 智能指针的学习先看邓凡平的书扫盲再看前面两片博客提升转载于:https://www.cnblogs.com/jeanschen/p/3507512.html
再看数据库——（2）视图
概念 *是从用户使用数据库的观点来说的. *从一个或多个表(视图)中导出来的 *一个虚表,或者说查询表为什么要用视图呢? 一是简单,看到的就是需要的.视图不仅可以简化用户对数据的理解,也可以简化他们 ...
以前看书时记得一些笔记（二），很早了，现在再看都有些看不懂了
MFC学习: 1.CObject类为MFC总类,该类下面有一个重要的类CCmdTarget.而CCmdTarget类下面又有四个重要的继承类,分别为:CWinThread.CDocument.CDoc ...
再看结构体对齐与小端联合问题
再看结构体对齐与小端联合问题 @(组成原理) 先再次回看一道题目的分析. (2012.15)某计算机存储器按字节编址,采用小端方式存放数据.假定编译器规定int型和short型长度分别为32位和16位 ...
【发布】哔哩哔哩bilibili替换旧版播放(稍后再看)
今天上B站发现强制界面新版了,连旧版切换按钮也隐藏了,目前还能通过[稍后再看]来切换旧版,随便写了个脚本,油猴新建脚本,添加以下 Greasy Fork地址: https://greasyfork.o ...
再看《西游记》——吴承恩眼中的现实社会是如何折射到《西游记》中的
一.<西游记>其实是一个时代的映照,是一种启蒙思潮的载体,只不过它所代表的启蒙思潮却在中国被扼杀掉了对于<西游记>,我们给与了较多.较高的美学评价,但如果只是把<西游记 ...

再看KafkaLag

再看KafkaLag相关推荐

最新文章

热门文章