一、

前些年,互联网行业里对架构师这个岗位的标准还不是很清晰。所以,很多架构师的工作往往就是一些技术被公司认可的资深工程师负责。

彼时,正巧我也是这类人员之一,故也得到了一个从零开始架设一套广告投放平台的机会。

我很喜欢钻研技术,对这种机会自然很看重。

那时候,架构并无如今这么复杂,一开始就是前面搞几个 Web 应用,后面共享个数据库。大致像这样:

当然,上面的架构其实做了很多简化,省略了很多细节。比如,为了提高性能做的缓存,为了提高吞吐做的负载均衡统统没有在上图给出。因为这些和本章话题无关,暂时咱们就忽略这些东西,只看核心部分。

这套架构初期运行还是没什么问题的,再加上一些缓存机制,初期一些性能问题都通过调整缓存提升缓存的碰撞率应付了过去。

可是,随着广告投放量的增大,广告的访问量也在暴涨。这些暴涨的访问量引发了性能问题。当时,由于前端有负载均衡,应用层倒是没出现什么问题……

问题出在后面的数据库上

二、

这套架构数据库用的是 MySQL,本身也只有一台主库在对外服务,另外一台备库采用了 MySQL 自己的全同步机制做实时备份。

当广告访问量暴涨的时候,因为业务需要,很多数据需要在数据库中做实时插入,这就导致了大量的磁盘 IO 产生。这些大量的磁盘 IO 造成了数据库本身性能的急剧下降。

悲催的是,整套广告平台的所有功能又都是共享一个数据库的,所以随着数据库本身的性能下降,平台的所有功能都受到了影响。

由于问题主要在于大量广告流量的写入,所以,靠读写分离的方案去缓解问题这条路就走不通了。

只好先升级硬件了。在经过了几轮硬件升级和数据库调优之后,单数据库再也无法支撑不断上涨的流量了。没办法,要考虑搞数据库切分了。

那时候,我个人是很恐惧数据库切分的。

原因不仅仅在于需要在应用层多写很多复杂的逻辑,其根本原因是当时流行的 2PC(两阶段提交)方案,这个方案本身能保证在数据库切分的情况下,原来的事务依然保留着自身的 ACID 性质。即:

  1. Atomicity(原子性),不管事务里执行多少命令,对外它们都是一体的,要么都执行,要么都不执行。
  2. Consistency(一致性),正因为事务里要么做要么都不做,所以数据库的状态变化只能由事务变更后,才会叫一致性状态。
  3. Isolation(隔离性),事务里做的事儿事务外面谁也看不到,就跟个盒子把数据罩起来一样,到底中间怎么变化的,事务外面的观察不到。
  4. Durability(持久性),事务确认成功了,那这状态就永久不变了。

但也正因为这 4 个特性,2PC 才让我顾虑重重。

顾虑1:首先,数据库拆分了,那么根据事务的原子性,事务自身必须是一体的,那么事务涉及到的不同的数据库就必须都访问一遍,而这本身就意味着很高的通信成本。

再加上,为了保持一致性,事务失败后,还必须恢复各个数据库原来的状态,这就必须让已经成功执行过本地事务的数据库全部回滚。

而稍微懂点数据库的人都知道,这个成本有多大。

更可怕的是,本身事务的隔离性还可能加上锁。一旦一个热点数据区域被大量访问,最差情况就可能出现串行访问。而这对此套平台,包括我自己都将是个悲剧。

顾虑2:数据库的拆分会造成整个平台的可用性下降。

假设我现在有一台数据库,它的可用性是 99.9%。如果因为分库,数据库从一台变成两台,那么平台的可用性就会变成:

平台的可用性 = 99.9% * 99.9% = 99.8%

从 99.9% 变成了 99.8%,这意味着可用性下降了 0.1%,每个月的不可用时间会增加 43 分钟之多。

一边是硬件升级已经到顶,单机数据库也优化到了极限,再不做数据库拆分,平台可能随时瘫痪。一边是没有好的策略,可能拆分数据库后,每个月都有宕机的风险,同时性能也可能会出现剧烈的下降。

我被逼入了死角。

三、

这种痛苦的纠结折磨了我大概一周,直到我看到了 CAP 定理。当 CAP 定理说分布式系统在分区容错的时候,只能一致性和可用性二选一时,我高兴的蹦了起来。

原来,可用性和一致性是不能兼得的。

为何我会那么高兴?因为逼我入死角的可不仅是技术上的问题了,我还承受着来自于业务方和领导的压力。每天一上班,我就需要面对业务各方的抱怨,以及领导一轮又一轮的催促。

有了 CAP 定理的支持,我知道我最终是要面临选择的。既然在这个世界上做分布式架构的所有人都要面临选择,那我又怎么可能独善其身呢?

在对单机数据库引发的各种问题做了一次彻底的各种归因以后,我下了决心:

一定要搞定拆分数据库并给出良好方案。

只是,2PC 这个拦路虎,它成为了我的大敌。通过 CAP 定理,我非常肯定,只要我选了 2PC 方案,可用性就一定会出现严重的问题,这个方案也肯定不可能拿出来丢人现眼的。

我唯一的方向就是去牺牲一些一致性,往可用性方向走。可是,怎么走呢?

也许是老天眷顾,也许是大家都承受着和我一样夜不能寐的压力,很快,BASE 理论在国内传开了。

BASE 理论让我知道了,这个世上能排到前几名的技术大公司也一样会出问题,也一样会对这些问题进行妥协。而且 BASE 理论的思想让我的思路一下子就打开了,苦思而不得的问题开始有了头绪。

我要开始着手制定技术方案了。

四、

BASE 思想中的 BA(Basically Available)基本可用,是鼓励通过预先的架构设计或者前期规划,尽量在分布式的系统中,把以前可能影响全平台的严重问题,变成只会影响平台中的一部分数据或者功能的非严重问题。

有了这个思想之后,我就对广告平台中的很多重要的数据表进行了拆分,并将这些表的数据分散到了不同的数据库中。

比如,有个广告流量详情表,每当用户点击广告或者广告展示出来的时候,为了保证不丢失,这些数据都是实时插入到这个表里的。

我对这张表是怎么切分的呢?

当有人点击广告了,他的点击记录会被传到我的应用层,然后我会在应用层根据广告 ID 做哈希,再根据哈希结果的不同,分别存到不同的数据库中去。

假如这三个数据库中的一个出现了问题,则只会有三分之一的数据受到影响。这就实现了 BASE 理论中的 BA——基本可用了。基本可用其实也真的就是表达的这么一回事:

通过一些架构设计,即使平台中某部分组件出现了问题,也不会导致整个平台不可用。

好了,既然采取了数据库拆分的策略,又根据 BASE 理论中的 BA 思想拆分了一些重要的表,那么,到了现在,可能也无从后悔,只能继续沿着 BASE 这条路,一条路走到黑了。

五、

接下来,需要着手解决性能问题了。2PC 方案……算了……它疯狂的一致性性格会要了我的狗命的。

那么极端点,我们不搞事务可不可以呢?

还用前面说的那套广告平台举例。

当时,从业务上,要求广告的访问数据都要保证及时入库不能丢,因为丢了就可能造成计费的损失,而这些损失全是钱。所以,每当用户点击广告或者广告展示出来的时候,为了保证不丢失,这些数据都是实时入库的。

又根据业务需求,当广告流量入库时,还需要往广告预算表和媒体流水表里同时根据这笔流量进行记账,以供后续财务计算。

如果完全不考虑事务,则拆分库后,操作可能会是这个样子。

这三个操作可能会并行发往不同的数据库执行。由于三个操作之间没有事务的约束,所以,一个操作出问题了,另外的操作并不会受到影响。

而这却也引发了另外一个问题,数据状态不一致。

如果在上面的业务中,插入广告流量表的操作失败了,但其余两张表插入成功了,业务就会面临一个很尴尬的情况:他们算出的财务报表没有依据。财务流水中找不到产生了这笔流水的依据。

而这种不一致的状态由于已经被持久化到了数据库中,就会导致这种不一致的状态永久存在了数据库中。这业务能接受吗?但凡有点职业精神的程序员能接受吗?

写在最后

作为一名即将求职的程序员,面对一个可能跟近些年非常不同的 2019 年,你的就业机会和风口会出现在哪里?在这种新环境下,工作应该选择大厂还是小公司?已有几年工作经验的老兵,又应该如何保持和提升自身竞争力,转被动为主动?

就目前大环境来看,跳槽成功的难度比往年高很多。一个明显的感受:今年的面试,无论一面还是二面,都很考验Java程序员的技术功底。

最近我整理了一份复习用的面试题及面试高频的考点题及技术点梳理成一份“Java经典面试问题(含答案解析).pdf和一份网上搜集的“Java程序员面试笔试真题库.pdf”(实际上比预期多花了不少精力),包含分布式架构、高可扩展、高性能、高并发、Jvm性能调优、Spring,MyBatis,Nginx源码分析,Redis,ActiveMQ、Mycat、Netty、Kafka、Mysql、Zookeeper、Tomcat、Docker、Dubbo、Nginx等多个知识点高级进阶干货!

由于篇幅有限,为了方便大家观看,这里以图片的形式给大家展示部分的目录和答案截图!有需要的朋友可以戳这里免费获取

Java经典面试问题(含答案解析)

阿里巴巴技术笔试心得

RFM62QYr-1625418018409)]

Java经典面试问题(含答案解析)

[外链图片转存中…(img-UxkaOu46-1625418018410)]

阿里巴巴技术笔试心得

[外链图片转存中…(img-oS9dGzpd-1625418018411)]

「高并发秒杀」java使用教程第五版答案相关推荐

  1. 「高并发秒杀」java课程设计报告模板

    正文 我在做技术面试官的时候,在问完问题后,照例会问一句:你期望的工资是多少?对此,我只会记录下候选人的回答然后上报,没有同意权,更没有批驳权. 判断候选人能否通过面试,主要看候选人能力和岗位的匹配度 ...

  2. java开发微信抢红包挂_「高并发秒杀」微信抢红包实战案例

    推荐阅读: ( i' [9 Q6 ?7 K/ p+ B% ~ 8 L$ _" R- y- v  s1 p. e7 Y( }* M, l6 T+ R 阿里二面凉经:设计模式+缓存+Spring ...

  3. 「高并发秒杀」mysql只修改字段名称

    高并发架构 消息队列 搜索引擎 缓存 分库分表 读写分离 设计高并发系统 高并发架构部分内容 缓存: Redis高可用: 高并发系统设计: 分布式系统 分布式业务系统,就是把原来用 Java 开发的一 ...

  4. 疯狂涨知识!「高并发秒杀」微信抢红包实战案例帮你突破瓶颈

    推荐阅读: 阿里二面凉经:设计模式+缓存+Spring+虚拟机+MySQL+中间件+并发等难题,全部迎刃而解 阿里巴巴字节跳动那些大厂必问的HTTP该怎么学?我建议你看看这篇文章! 蚂蚁.字节.PDD ...

  5. 「高并发秒杀」微信抢红包实战案例

    推荐阅读: 阿里二面凉经:设计模式+缓存+Spring+虚拟机+MySQL+中间件+并发等难题,全部迎刃而解 阿里巴巴字节跳动那些大厂必问的HTTP该怎么学?我建议你看看这篇文章! 蚂蚁.字节.PDD ...

  6. 小白勿进!「高并发秒杀」微信抢红包实战案例

    推荐阅读: 阿里二面凉经:设计模式+缓存+Spring+虚拟机+MySQL+中间件+并发等难题,全部迎刃而解 阿里巴巴字节跳动那些大厂必问的HTTP该怎么学?我建议你看看这篇文章! 蚂蚁.字节.PDD ...

  7. 「高并发秒杀」mysql数据库引擎区别

    一.秒杀系统架构设计都有哪些关键点? 二.设计秒杀系统时应该注意的5个架构原则 架构原则:"4要1不要" 1.1.数据要尽里少 1.2. 请求数要尽里少 1.3.路径要尽里短 1. ...

  8. 「高并发秒杀」linux安装软件有哪几种方式

    那么,如何学习Kafka源码?? 我觉得最高效的方式就是去读最核心的源码,先看一张 Kafka结构图 以及 Kafka 源码全景图 梳理一下关于 Kafka 框架,找到学习的重点. 其次,我要说的就是 ...

  9. java实用教程第五版电子书,爱了爱了

    如何才可以进大厂? 答案其实也很简单,能力+学历.不知道大家有没有发现,大厂的一些部门对于学历要求已经放低了,阿里的一些部门同样也招大专学历的程序员,当然肯定也是因为他的能力足够出色. 对于准备秋招的 ...

  10. 计算机英语教程第五版答案解析,计算机专业英语教程(第5版)翻译完整版

    本人经过多次整理,将很多翻译的文档综合成目前我认为 是比较全的文档贡献给大家,同时我提醒各位在课本上也附录了许多翻译,不要忘记查看呀 图3-1 为建立对象而组合的数据域和方法 典型地,一个对象的描述是 ...

最新文章

  1. Linux下安装Tomcat启动报错
  2. 《校园封神榜》个人工作总结——第十天
  3. [转载] java接口中方法的默认访问修饰符为public
  4. C++ lock 加锁,解锁
  5. grid网格布局基础(一)
  6. java算法——哈希表 电话号码查询系统
  7. html的重置按钮reset无反应,reset() 按钮没有反应???
  8. phpstudy的php fpm,浅谈PHP-FPM参数
  9. 系统封装失败遇到windows 无法分析或处理
  10. 搭建Ubuntu虚拟机
  11. 七周数据分析01_数据分析思维
  12. 暴漏React配置时报错Remove untracked files, stash or commit any changes, and try again.
  13. vue和php前后端分离
  14. 野外监测数据采集项目
  15. Codeforces Round #840 (Div. 2) and Enigma 2022 - Cybros LNMIIT题解
  16. 「自控原理」3.3 稳定性与稳态误差、时域校正
  17. (93)FPGA面试题-什么是关键路径,怎么处理关键路径?
  18. 访问twitter_从命令行访问Twitter
  19. ClickOnce部署出现 系统必备的安装位置未设置为组件供应商的网站,无法在磁盘上找到 dotNetFx40LP_Client_x86_x64cs.exe 问题的解决方案
  20. BP神经网络模型一篇入门

热门文章

  1. Python包和模块的区别
  2. 微信点餐小程序怎么做(微信点餐小程序制作方法)
  3. 毕业设计实战:单片机智能温控风扇设计 带智能调速人体感应 论文仿真 源码 原理图
  4. 判断USB打印机离线状态
  5. 黑苹果VoodooHDA声卡驱动
  6. win10中谷歌浏览器安装插件的位置
  7. Linux下终端的快捷键及建立打开终端的快捷键
  8. informatic 使用注意事项
  9. 51 单片机 程序编写
  10. int与byte之间的相互转化