Java架构师必备框架技能核心笔记，工作感悟

01 kafka入门

1.1 什么是kafka

1.2 kafka中的基本概念

1.2.1 消息和批次

1.2.2 主题和分区

1.2.3 生产者和消费者、偏移量、消费者群组

1.2.4 Broker和集群

1.2.5 保留消息

02 为什么选择kafka

2.1 优点

2.2 常见场景

2.2.1 活动跟踪

2.2.2 传递消息

2.2.3 收集指标和日志

2.2.4 提交日志

2.2.5 流处理

03 kafka的安装、管理和配置

3.1 安装

3.1.1 预备环境

3.1.2 下载和安装kafka

3.1.3 运行

3.1.4 kafka基本的操作和管理

3.2 Broker配置

3.3 硬件配置对kafka性能的影响

3.3.1 磁盘吞吐量/磁盘容量

3.3.2 内存

3.3.3 网络

3.3.4 CPU

3.3.5 总结

04 kafka的集群

4.1 为何需要kafka集群

4.2 如何估算kafka集群中Broker的数量

4.3 Broker如何加入kafka集群

05 第一个kafka程序

5.1 创建我们的主题

5.2 生产者发送消息

5.2.1 必选属性（bootstrap.servers、key.serializer、value.serializer）

5.3 消费者接受消息

5.3.1 必选参数（group.id）

5.4 演示示例

06 kafka的生产者

6.1 生产者发送消息的基本流程

6.2 使用kafka生产者

6.2.1 三种发送方式（发送并忘记、同步发送、异步发送）

6.2.2 多线程下的生产者

6.2.3 更多发送配置（acks、buffer.mempry、max.block.ms、retries、batch.size、linger.ms、compression.type、client.id、、、顺序保证）

6.3 序列化

6.3.1 自定义序列化需要考虑的问题

6.4 分区

6.4.1 自定义分区器

07 kafka的消费者

7.1 消费者的入门

7.1.1 消费者群组

7.1.2 消费者配置

7.2 消费者中的基础概念

7.2.1 消费者群组

7.2.2 订阅

7.2.3 轮询

7.2.4 提交和偏移量

7.3 消费者中的核心概念

7.4 kafka中的消费安全

7.5 消费者提交偏移量导致的问题

7.5.1 自动提交

7.5.2 手动提交（同步）

7.5.3 异步提交

7.5.4 同步和异步组合

7.5.5 特定提交

7.6 分区再均衡

7.7 优雅1退出

7.8 反序列化

7.9 独立消费者

08 深入理解kafka

8.1 集群的成员关系

8.2 什么是控制器

8.3 复制-kafka的核心

8.3.1 replication-factor

8.3.2 副本类型

8.3.3 工作机制

8.4 处理请求的内部机制

8.4.1 生产请求

8.4.2 获取请求

8.4.3 ISR

8.5 物理存储机制

8.5.1 分区分配

8.5.2 文件管理

8.5.3 文件格式

8.5.4 索引

8.5.5 超时数据的清理机制

09 可靠的数据传递

9.1 kafka提供的可靠性保证和架构上的权衡

9.2 复制

9.3 Broker配置对可靠性的影响

9.3.1 复制系数

9.3.2 不完全的首领选举

9.3.3 最少同步副本

9.4 可靠系统里的生产者

9.4.1 发送确认

9.4.2 配置生产者的重试参数

9.4.3 额外的错误处理

9.5 可靠系统里的消费者

9.5.1 消费者的可靠性配置

9.5.2 显式提交偏移量

10 kafka和Spring的整合

10.1 与Spring集成

10.1.1 pom文件

10.1.2 统一配置

10.1.3 生产者端

10.1.4 消费者端

11 SpringBoot和kafka的整合

12 kafka实战之削峰填谷

13 数据管道和流式处理（了解即可）

13.1 数据管道基本概念

13.2 流式处理基本概念

最后

这份《“java高分面试指南”-25分类227页1000+题50w+字解析》同样可分享给有需要的朋友，感兴趣的伙伴们可挑战一下自我，在不看答案解析的情况，测试测试自己的解题水平，这样也能达到事半功倍的效果！（好东西要大家一起看才香，下载请点击这里）

最后

[外链图片转存中…(img-2J1C5jQZ-1624875859362)]

[外链图片转存中…(img-5MHAdWlW-1624875859363)]

Java架构师必备框架技能核心笔记，工作感悟相关推荐

Java架构师必备框架技能核心笔记，附相关架构及资料
技术焦虑现在的技术圈子很火热,任何技术点,任何知识,只要你肯搜索,都能找到资料.但是现在技术圈确实有一个不好的地方,就是贩卖焦虑.这种贩卖焦虑的点并不在于形式,而是一种普遍的心态.特别是对于那种知识 ...
Android应用性能优化！Android架构师必备框架技能核心笔记，一文轻松搞定
前言 19年6月份从网易云音乐离开,放弃了留学机会,开始了人生的第一次创业,前后尝试了两个项目,因为个人能力与时机因素都失败了,虽然没能享受到创业所能够带来高杠杆物质上的回报,但是对个人软技能和自我边 ...
kotlin教程！Android架构师必备框架技能核心笔记，详细的Android学习指南
雪上加霜本人一名Android程序员,今年29岁了.大厂小厂都呆过,现在在腾讯工作!明明工作顺利,家庭和睦儿女成全,但是总是会感觉到,一股无形的压力,推着我走!作为一名程序员我最怕的不是996,也是 ...
Java架构师必备知识体系
写给一名java开发的一段话: 最近公司在组织面试,并由我担任面试官,前前后后面了几天,大概有十来个人,基本都是五年以上开发经验的,我问的问题也都不是很困难,都是一些偏原理和场景解决方案. 如: 1. ...
华为架构师撰写的Netty核心笔记，从Java NIO到Netty的高级特性
众所周知,Netty 作为当前流行的 NIO 框架,操作省时.省事还安全,在云计算.大数据通讯,电商.游戏等领域都有广泛的应用.如果是一个大型网站,内部接口非常多的情况下,好处很明显--首先就是长链接 ...
GitHub标星1w的Java架构师必备技能，Java岗
一.Spring Cloud微服务概念定义提起微服务,不得不提 Spring Cloud 全家桶系列,Spring Cloud 是一个服务治理平台,是若干个框架的集合,提供了全套的分布式系统解决方案 ...
专访驻云CTO肖凯：云架构师必备的技能和知识
采访嘉宾:肖凯,驻云科技CTO,对云计算特别是公有云技术有很深的理解,已经协助数百家企业客户完成上云转型.曾就职于IBM.EMC,对传统企业IT架构有深刻认识,坚信企业IT的未来是在公有云. 记者:钱 ...
走向架构师必备的技能
中国有很多年轻人,他们18,9岁或21,2岁,通过自学也写了不少代码,他们有的代码写的很漂亮,一些技术细节相当出众,也很有钻研精神,但是他们被一些错误的认识和观点左右,缺乏对系统,对程序的整体理解能力 ...
走向架构师必备的技能，你都会了吗？
中国有很多年轻人,他们18,9岁或21,2岁,通过自学也写了不少代码,他们有的代码写的很漂亮,一些技术细节相当出众,也很有钻研精神,但是他们被一些错误的认识和观点左右,缺乏对系统,对程序的整体理解能力 ...