从单块系统说起
团队越来越大，业务越来越复杂
分布式出现：庞大系统分而治之
分布式系统所带来的技术问题
一句话总结：什么是分布式系统设计和开发经验
补充说明：中间件系统及大数据系统

前言

现在有很多Java技术方向的同学在找工作的时候，肯定都会去招聘网站上找职位投递简历。

但是在很多职位JD上往往会有这样的一个要求：熟悉分布式系统理论、设计和开发，具备复杂分布式系统构建经验。

之前不少同学后台留言问过我：这个分布式系统的设计和开发经验，到底指的是什么？那么这篇文章就给大家来解释一下这个问题。

一、从单块系统说起

要说分布式系统是什么东西，那么就得先从单块系统开始说起。

很多同学应该都知道，如果你在一些中小型的传统软件公司里工作，那么很有可能现在在做的系统是如下这个样子。

所有的代码都在一个工程里，最多可能就是通过maven等构件工具拆分了一下代码工程模块，不同的模块可以放在不同的工程代码里。

在部署的时候，可能就是直接在线上的几台机器里直接放到里面的tomcat下来运行。

然后在web服务器前面可能会有一层负载均衡服务器，比如用nginx或者是其他的负载均衡设备。

很多流量很小的企业内部系统，比如OA、CRM、财务等系统，甚至可能就直接在一台机器的tomcat下部署一下。

然后直接配置一下域名解析，就可以让这个系统的可能几十个，或者几百个用户通过访问域名来使用这个软件了。

至于说系统的依赖大概来说很可能只有一个，那就是MySQL、Oracle等关系型数据库，可能会在某台机器上专门部署一个数据库，让应用系统来使用。

大家看看下面的图，体会一下这种单体架构。

这种系统在很多中小型公司里现在还是比较多的，就是典型的单块系统，所有代码在一个工程，部署在一个tomcat里即可，这里包含了系统所有的功能。

你哪怕就部署一台机器，这个系统也可以运行，只不过为了所谓的“高可用”，可能一般会部署两台机器，前面加一层负载均衡设备，这样其中一个机器挂了，另外一个机器上还有一个系统可以用。

二、团队越来越大，业务越来越复杂

其实上面说的那种单块系统，如果是一个10人以内的小团队大家一起维护和开发一个用户数量不多，请求量不大的系统，也是没问题的，还挺方便的，对吧。

你搞一个代码仓库，然后就一份代码，每个人都在自己本地写代码，最后把代码合并一下，做做测试，然后就直接部署基于Tomcat来就可以了。

但是问题就在于说，如果你的团队超过了10个人，比如有20个人，甚至几十个人，上百个人要一起协作开发这个系统，然后里面的业务逻辑特别多，可能功能模块多达几百个。这个时候就麻烦了，你要是还用那种单块系统的模式，那肯定是很痛苦的。

因为几十个人维护一个单块系统，大家在一个工程里写代码，大量的冲突以及代码合并都会让人崩溃。

而且部署的时候会有各种冲突，比如某个功能模块要上线了，但是他必须得把整个单块系统所有的功能都回归测试一遍才敢上线。

因为大家的代码都在一个工程里，都是耦合在一起的，你修改了代码，必须全部测试一遍才能保证系统正常。

所以说这个时候，就必须想办法把系统改造成分布式系统了。

三、分布式出现：庞大系统分而治之

这个时候就可以尝试把一个大的系统拆分为很多小的系统，甚至很多小的服务，然后几个人组成一个小组就专门维护其中一个小系统，或者每个人维护一个小服务。

简单来说，就是分而治之，这样每个人可以专注维护自己的代码。

然后不同的小系统自己开发、测试和上线，都不会跟别人耦合在一起，可以自己独立进行，非常的方便，大大简化了大规模系统的开发成本。

不同的子系统之间，就是通过接口互相来回调用，每个子系统都有自己的数据库，大家看下面的图。

四、分布式系统所带来的技术问题

那么大家这个时候可以思考一下，如果你的公司是采用这种分布式系统的方式来构建公司的一个大规模系统的，那么这个时候会涉及到哪些技术问题？

（1）分布式服务框架

你如果要让不同的子系统或者服务之间互相通信，首先必须有一套分布式服务框架。

也就是各个服务可以互相感知到对方在哪里，可以发送请求过去，可以通过HTTP或者RPC的方式。

在这里，最常见的技术就是dubbo以及spring cloud，当然大厂一般都是自己有服务框架

（2）分布式事务

一旦你的系统拆分为了多个子系统之后，那么一个贯穿全局的分布式事务应该怎么来实现？

这个你需要了解TCC、最终一致性、2PC等分布式事务的实现方案和开源技术。

（3）分布式锁

不同的系统之间如果需要在全局加锁获取某个资源的锁定，此时应该怎么来做？

毕竟大家不是在一个JVM里了，不可能用synchronized来在多个子系统之间实现锁吧，是不是？

（4）分布式缓存

如果你原来就是个单块系统，那么你其实是可以在单个JVM里进行本地缓存就可以了，比如搞一个HashMap来缓存一些数据。

但是现在你有很多个子系统，他们如果要共享一个缓存，你应该怎么办？是不是需要引入Redis等缓存系统？

（5）分布式消息系统

在单块系统内，就一个JVM进程内部，你可以用类似LinkedList之类的数据结构作为一个本地内存里的队列。

但是多个子系统之间要进行消息队列的传递呢？那是不是要引入类似RabbitMQ之类的分布式消息中间件？

（6）分布式搜索系统

如果在单块系统内，你可以比如在本地就基于Lucene来开发一个全文检索模块，但是如果是分布式系统下的很多子系统，你还能直接基于Lucene吗？

明显不行，你需要在系统里引入一个外部的分布式搜索系统，比如Elasticsearch。

（7）其他很多的技术

比如说分布式配置中心、分布式日志中心、分布式监控告警中心、分布式会话，等等，都是分布式系统场景下你需要使用和了解的一些技术。

因为沿用单块系统时代的那些技术已经不行了，比如说你单块系统的时候，直接在本地用一个properties文件存放自己的配置即可，日志也写到本地即可。

但是分布式时代呢？

你那么多的子系统，怎么共享同一份配置？怎么把各个系统的日志聚合写到一个地方来查看？

单块系统的时候，你一个web应用直接基于Servlet API提供的Session会话功能即可，那么分布式时代呢，你有N多个子系统如果要共享会话该怎么做？

五、一句话总结：什么是分布式系统设计和开发经验？

其实分析完了之后，大家应该就大概知道了，招聘JD上写这个分布式系统的设计和开发经验，其实他是一个很大的主题，里面包含很多的内容。

你的系统一旦分布式了之后，通信、缓存、消息、事务、锁、配置、日志、监控、会话，等等各种原来单块系统场景下很容易解决的问题，都会变得很复杂，需要引入大量外部的技术。

所以你有没有参与过类似这样的一个大的分布式系统？你有没有基于各种技术解决过分布式系统场景下的各种技术问题？这就是人家希望和要求的分布式系统设计和开发的经验。如果大家还没接触过，建议多去学习一下。

六、补充说明：中间件系统及大数据系统

最后给大家说明一点，一般这种招聘JD，如果是Java岗位要求分布式相关的经验，其实主要还是上面说的那些东西，他面向的是分布式的业务系统的构建。

但是其实分布式系统本身是一个非常复杂的话题，因为刚才说的只是一个分布式业务系统要依赖哪些技术来进行构建。

但是其实比如Kafka、Rocket等中间件，本身他也是分布式的，你要搞明白他们自己是如何实现分布式的，又是一个非常复杂的话题。

此外，像hadoop、spark、hbase等大数据系统，本身也都是世界上最最复杂的分布式系统，这又涉及到大数据领域的话题了，以后有机会可以单独聊聊。

面试官问我有没有分布式系统开发经验，我一脸懵圈…相关推荐

面试官问我，Redis分布式锁如何续期？懵了。
作者:肥朝,来自:肥朝(ID:feichao_java) 前言上一篇[面试官问我,使用Dubbo有没有遇到一些坑?我笑了.]之后,又有一位粉丝和我说在面试过程中被虐了.鉴于这位粉丝是之前肥朝的老粉丝 ...
.jar中没有主清单属性_面试官问：为什么SpringBoot的 jar 可以直接运行？
点击上方蓝色字体,选择"设为星标" 优质文章,及时送达来源 | https://urlify.cn/uQvIna SpringBoot提供了一个插件spring-boot-mav ...
面试官问“为什么应聘这个岗位”，应该如何回答？
面试的时候,我们经常会被问到一个问题:为什么要来应聘这个职位? 这是很多同学,不管是在校招还是社招里面都会碰到的一个场景.出现这种问题,一般来说有两种情况. 一种是大学专业,或之前的实习经验.工作经验 ...
面试官问你：你有什么想问的，你这么回答会给你加分
如果面试官问你:你有什么想问的?这通常表示面试到了尾声,但这并不是面试就要结束的标志,而是面试官给你扔过来的一个坑,如果这个问题回答好,就可以为面试加分,如果回答的不好,则同样会减分. 那么,你提什么 ...
【283期】面试官问：高并发场景下，如何保证全局唯一分布式 ID 生成？
点击上方"Java精选",选择"设为星标" 别问别人为什么,多问自己凭什么! 下方有惊喜,留言必回,有问必答! 每一天进步一点点,是成功的开始... 前言系统 ...
面试官问你想找什么工作_找工作时如何面试面试官
面试官问你想找什么工作在技术面试中要问的十二个问题 (Twelve questions to ask at tech interviews) I've just come off six wee ...
面试官问：select......for update会锁表还是锁行？
欢迎关注方志朋的博客,回复"666"获面试宝典 select查询语句是不会加锁的,但是select .......for update除了有查询的作用外,还会加锁呢,而且它是悲观锁 ...
面试官问：数据库 delete 表数据，磁盘空间还是被一直占用，为什么?
以下文章来源方志朋的博客,回复"666"获面试宝典最近有个上位机获取下位机上报数据的项目,由于上报频率比较频繁且数据量大,导致数据增长过快,磁盘占用多. 为了节约成本,定期进行数 ...
面试官问：Kafka 会不会丢消息？怎么处理的?
点击上方蓝色"方志朋",选择"设为星标" 回复"666"获取独家整理的学习资料! Kafka存在丢消息的问题,消息丢失会发生在Broker, ...

面试官问我有没有分布式系统开发经验，我一脸懵圈…