前言

在大数据、高并发的系统中，为了突破瓶颈，会将系统进行水平扩展和垂直拆分，形成独立的服务。每个独立的服务背后，可能是一个集群在对外提供服务。这就会碰到一个问题，整个系统是由多个服务(子系统)组成的，数据需要在各个服务中不停流转。如果数据在各个子系统中传输时，速度过慢，就会形成瓶颈，降低整个系统的性能。从而就形成了以Kafka为中心的解决方案！

因为阅读Kafka源码重要性就不言而喻，今天小编就分享一份拼多多Kafka的源码笔记，现已面向大众全面开源！（为了不影响大家的阅读体验，免费获取方式放在了文末！）

这份笔记从Kafka的应用场景、源码环境搭建开始逐步深人，不仅介绍Kafka的核心概念，而且对Kafka生产者、消费者、服务端的源码进行深人的剖析，最后介绍Kafka常用的管理脚本实现，让读者不仅从宏观设计上了解Kafka,而且能够深人到Kafka的细节设计之中。在源码分析的过程中，还穿插了笔者工作积累的经验和对Kafka设计的理解，希望读者可以举一反三，不仅知其然，而且知其所以然。

主备同步的实现原理

我们先来了解一下主备同步的原理，下面以一个update语句来介绍主库与备库间是如何进行同步的。

上图是一个update语句在节点A执行，然后同步到节点B的完整流程图，具体步骤有：

主库接受到客户端发送的一条update语句，执行内部事务逻辑，同时写binlog。
备库通过 change master 命令，设置主库的IP、端口、用户名和密码，以及要从哪个位置开始请求 binlog。这个位置包含文件名和偏移量。
在备库上执行start slave命令，启动两个线程 io_thread 和 sql_thread，其中 io_thread 负责与主机进行连接。
主库校验完用户名和密码，按照接收到的位置去读取binlog，发给备库。
备库接收到binlog后，写到本地文件（relay log，中转文件）。
备库读取中转文件，解析出命令，然后执行。

主备同步的工作原理其实就是一个完全备份加上二进制日志备份的还原。不同的是这个二进制日志的还原操作基本上是实时的。

备库通过两个线程来实现同步：

一个是 I/O 线程，负责读取主库的二进制日志，并将其保存为中继日志。
一个是 SQL 线程，负责执行中继日志。

从上面的流程可以看出，主备同步的关键是binlog。

常见的两种主备切换流程

M-S结构

M-S结构，两个节点，一个当主库、一个当备库，不允许两个节点互换角色。

在状态1中，客户端的读写都直接访问节点A，而节点B是A的备库，只是将A的更新都同步过来，到本地执行。这样可以保持节点B和A的数据是相同的。

当需要切换的时候，就切成状态2。这时候客户端读写访问的都是节点B，而节点A是B的备库。

双M结构

双M结构，两个节点，一个当主库，一个当备库，允许两个节点互换角色。

对比前面的M-S结构图，可以发现，双M结构和M-S结构，其实区别只是多了一条线，即节点A和B之间总是互为主备关系。这样在切换的时候就不用再修改主备关系。

双M结构的循环复制问题

在实际生产使用中，多数情况是使用双M结构的。但是，双M结构还有一个问题需要解决。

业务逻辑在节点A执行更新，会生成binlog并同步到节点B。节点B同步完成后，也会生成binlog。（log_slave_updates设置为on，表示备库也会生成binlog）。

当节点A同时也是节点B的备库时，节点B的binlog也会发送给节点A，造成循环复制。

解决办法：

设置节点的server-id，必须不同，不然不允许设置为主备结构
备库在接到binlog后重放时，会记录原记录相同的server-id，即谁产生即为谁的。
每个节点在接受binlog时，会判断server-id，如果是自己的就丢掉。

解决后的流程：

业务逻辑在节点A执行更新，会生成带有节点A的server-id的binlog。
节点B接受到节点A发过来的binlog，并执行完成后，会生成带有节点A的server-id的binlog。
节点A接受到binlog后，发现是自己的，就丢掉。死循环就在这里断掉了。

最后

关于面试刷题也是有方法可言的，建议最好是按照专题来进行，然后由基础到高级，由浅入深来，效果会更好。当然，这些内容我也全部整理在一份pdf文档内，分成了以下几大专题：

Java基础部分

算法与编程

数据库部分

流行的框架与新技术（Spring+SpringCloud+SpringCloudAlibaba）

这份面试文档当然不止这些内容，实际上像JVM、设计模式、ZK、MQ、数据结构等其他部分的面试内容均有涉及，因为文章篇幅，就不全部在这里阐述了。

作为一名程序员，阶段性的学习是必不可少的，而且需要保持一定的持续性，这次在这个阶段内，我对一些重点的知识点进行了系统的复习，一方面巩固了自己的基础，另一方面也提升了自己的知识广度和深度。

最后提醒一下哦，如果你想要学习，却无奈于没有干货学习资料，以上所有的资料内容都可以免费分享给你，只需你多多支持一下即可

统的复习，一方面巩固了自己的基础，另一方面也提升了自己的知识广度和深度。**

最后提醒一下哦，如果你想要学习，却无奈于没有干货学习资料，以上所有的资料内容都可以免费分享给你，只需你多多支持一下即可

“点赞文章，关注我，然后戳戳戳戳这里获取免费下载方式”

缓存架构技术：开课吧java高级架构师第七期笔记相关推荐

阿里 P8 Java高级架构师，都需要掌握哪些技术栈？
大家都知道,阿里P8高级技术专家,基本上是一线技术人能达到的最高职级,也是很多程序员追求的目标.达到平均年入百万的P8 Java高级架构师级别,不仅要具备优秀的编程能力和系统设计能力,在技术视野和业务 ...
Java高级架构师之路核心知识整理
小编整理出一篇Java高级架构师之路的核心知识,同时也是面试时面试官必问的知识点,篇章也是包括了很多知识点,其中包括了有基础知识.Java集合.JVM.多线程并发.spring原理.微服务.Netty ...
成为一名Java高级架构师到底需要学习什么？
Java架构师,应该算是一些Java程序员们的一个职业目标了吧.很多码农码了五六年的代码也没能成为架构师.那成为Java架构师要掌握哪些技术呢,总体来说呢,有两方面,一个是基础技术,另一个就是组织能力 ...
看完946页“JAVA高级架构面试必问”，金九银十社招全拿下
前言我本科毕业后在老东家干了两年多,老东家算是一家"小公司"(毕竟这年头没有 BAT 或 TMD 的 title 都不好意思报出身),毕业这两年多我也没有在大厂待过,因此找坑的时 ...
946页“JAVA高级架构必问面试精华”，金九银十社招全拿下
前言我本科毕业后在老东家干了两年多,老东家算是一家"小公司"(毕竟这年头没有 BAT 或 TMD 的 title 都不好意思报出身),毕业这两年多我也没有在大厂待过,因此找坑的时 ...
java里面如何加入高级的东西_如何成为一名Java高级架构师
近些年来互联网快速发展,现阶段的数据量和高并发的诉求,引起了不少传统的技术人员的力不从心,企业愈发关注到了系统架构的重要性,既需要掌控整体又需要洞悉局部瓶颈并依据具体的业务场景给出解决方案的领导型人物 ...
一线大厂对于Java高级架构师有怎样的要求？成为一名年薪80万需要具备什么能力
艾编程:成为一名年薪80万以上的架构师到底应具备怎样的能力艾编程:成为一名年薪80万以上的架构师到底应该具备怎样的能力一名优秀的架构师,必须要具备六项能力,到底是什么能力,当掌握了这个能力之后会有 ...
成为Java高级架构师必看的15本书
成为Java高级架构师必看的15本书作为Java程序员来说,最痛苦的事情莫过于可以选择的范围太广,可以读的书太多,往往容易无所适从.我想就我自己读过的技术书籍中挑选出来一些,按照学习的先后顺序,推荐 ...
廖雪峰Java高级架构师第一期
廖雪峰Java高级架构师第一期
强推面试前必刷：Alibaba 内部 Java 高级架构师
最近有很多同学已经开始准备下半年的跳槽面试了,不得不说还是要给这些同学竖一个大拇指的,看来这些同学都是未雨绸缪的行家呀!老师今天就为大家分享一份 Alibaba 内部 Java 高级架构师面试题的总结 ...

缓存架构技术：开课吧java高级架构师第七期笔记

前言