【本人秃顶程序员】图解分布式架构的演进过程
←←←←←←←←←←←← 快!点关注!!!
一、什么是分布式架构
分布式系统(distributed system) 是建立在网络之上的软件系统。
内聚性: 是指每一个数据库分布节点高度自治,有本地的数据库管理系统。
透明性: 是指每一个数据库分布节点对用户的应用来说都是透明的,看不出是本地还是远程。
在分布式数据系统中,用户感觉不数据是分布的,即用户不须知道关系是否分割,有无副本,数据存在于那个站点以及事物在哪个站点上执行。
简单来说:在一个分布式系统中,一组独立的计算机展现给用户的是一个统一的整体,就好像是一个系统似的。
分布式系统作为一个整体对用户提供服务,而整个系统的内部的协作对用户来说是透明的,用户就像是指使用一个mysql 一样。
如:分布式mysql中间件 mycat ,来处理大并发大数据量的构架。
二、分布式架构的应用
1、分布式文件系统
例如:出名的有 Hadoop 的 HDFS, 还有 google的 GFS , 淘宝的 TFS 等;
2、分布式缓存系统
例如:memcache , hbase, mongdb 等;
3、分布式数据库
例如:mysql, mariadb, postgreSql 等;
4、分布式webService
5、分布式计算
以分布式mysql数据库中间件mycat 为例:
MySQL 在现在电商以及互联网公司的应用非常多,一个是因为他的免费开源,另外一个原因是因为分布式系统的水平可扩展性,随着移动互联网用户的暴增,互联网公司,像淘宝,天猫,唯品会等电商都采用分布式系统应对用户的高并发量以及大数据量的存储。而在Mycat的商业案例中,有对中国移动的账单结算项目中,应用实时处理高峰期每天2亿的数据量,在对物联网的项目中,实现处理高达26亿的数据量,并提供实时查询的接口。
通过对MyCat的学习,加深分布式系统架构的理解,以及分布式相关的技术,分布式一致性ZooKeeper服务, 高可用HAProxy/keepalived等相关应用。
集群与分布式;
负载均衡;
分布式相关的高可用、容灾等名词解释;
Mycat中间件学习
三、分布式架构的演进
1、初始阶段架构
特征:应用程序,数据库,文件等所有资源都放在一台服务器上。
2、应用服务和数据服务以及文件服务分离
说明: 好景不长,发现随着系统访问量的再度增加,webserver机器的压力在高峰期会上升到比较高,这个时候开始考虑增加一台webserver。
特征: 应用程序、数据库、文件分别部署在独立的资源上。
3、使用缓存改善性能
说明: 系统访问特点遵循二八定律,即80%的业务访问集中在20%的数据上。
缓存分为本地缓存和远程分布式缓存,本地缓存访问速度更快但缓存数据量有限,同时存在与应用程序争用内存的情况。
特征: 数据库中访问较集中的一小部分数据存储在缓存服务器中,减少数据库的访问次数,降低数据库的访问压力。
4、使用“应用服务器”集群
说明: 在做完分库分表这些工作后,数据库上的压力已经降到比较低了,又开始过着每天看着访问量暴增的幸福生活了。
突然有一天,发现系统的访问又开始有变慢的趋势了,这个时候首先查看数据库,压力一切正常,之后查看webserver,发现apache阻塞了很多的请求,而应用服务器对每个请求也是比较快的,看来是请求数太高导致需要排队等待,响应速度变慢。
特征: 多台服务器通过负载均衡同时向外部提供服务,解决单台服务器处理能力和存储空间上限的问题。
描述: 使用集群是系统解决高并发、海量数据问题的常用手段。通过向集群中追加资源,提升系统的并发处理能力,使得服务器的负载压力不再成为整个系统的瓶颈。
5、数据库读写分离
说明: 享受了一段时间的系统访问量高速增长的幸福后,发现系统又开始变慢了,这次又是什么状况呢,经过查找,发现数据库写入、更新的这些操作的部分数据库连接的资源竞争非常激烈,导致了系统变慢。
特征: 多台服务器通过负载均衡同时向外部提供服务,解决单台服务器处理能力和存储空间上限的问题。
描述: 使用集群是系统解决高并发、海量数据问题的常用手段。通过向集群中追加资源,使得服务器的负载压力不在成为整个系统的瓶颈。
6、反向代理和CDN加速
特征: 采用CDN和反向代理加快系统的访问速度。
描述: 为了应付复杂的网络环境和不同地区用户的访问,通过CDN和反向代理加快用户访问的速度,同时减轻后端服务器的负载压力。CDN与反向代理的基本原理都是缓存。
7、“分布式文件”系统 和 “分布式数据库”
说明: 随着系统的不断运行,数据量开始大幅度增长,这个时候发现分库后查询仍然会有些慢,于是按照分库的思想开始做分表的工作
特征: 数据库采用分布式数据库,文件系统采用分布式文件系统。
描述:任何强大的单一服务器都满足不了大型系统持续增长的业务需求,数据库读写分离随着业务的发展最终也将无法满足需求,需要使用分布式数据库及分布式文件系统来支撑。
分布式数据库是系统数据库拆分的最后方法,只有在单表数据规模非常庞大的时候才使用,更常用的数据库拆分手段是业务分库,将不同的业务数据库部署在不同的物理服务器上。
8、使用NoSQL和搜索引擎
特征: 系统引入NoSQL数据库及搜索引擎。
描述: 随着业务越来越复杂,对数据存储和检索的需求也越来越复杂,系统需要采用一些非关系型数据库如NoSQL和分数据库查询技术如搜索引擎。
应用服务器通过统一数据访问模块访问各种数据,减轻应用程序管理诸多数据源的麻烦。
9、业务拆分
特征: 系统上按照业务进行拆分改造,应用服务器按照业务区分进行分别部署。
描述: 为了应对日益复杂的业务场景,通常使用分而治之的手段将整个系统业务分成不同的产品线,应用之间通过超链接建立关系,也可以通过消息队列进行数据分发,当然更多的还是通过访问同一个数据存储系统来构成一个关联的完整系统。
纵向拆分: 将一个大应用拆分为多个小应用,如果新业务较为独立,那么就直接将其设计部署为一个独立的Web应用系统 纵向拆分相对较为简单,通过梳理业务,将较少相关的业务剥离即可。
横向拆分: 将复用的业务拆分出来,独立部署为分布式服务,新增业务只需要调用这些分布式服务 横向拆分需要识别可复用的业务,设计服务接口,规范服务依赖关系。
10、分布式服务
特征: 公共的应用模块被提取出来,部署在分布式服务器上供应用服务器调用。
描述: 随着业务越拆越小,应用系统整体复杂程度呈指数级上升,由于所有应用要和所有数据库系统连接,最终导致数据库连接资源不足,拒绝服务。
五、分布式服务应用会面临哪些问题?
1、当服务越来越多时,服务URL配置管理变得非常困难,F5硬件负载均衡器的单点压力也越来越大。
2、当进一步发展,服务间依赖关系变得错踪复杂,甚至分不清哪个应用要在哪个应用之前启动,架构师都不能完整的描述应用的架构关系。
3、接着,服务的调用量越来越大,服务的容量问题就暴露出来,这个服务需要多少机器支撑?什么时候该加机器?
4、服务多了,沟通成本也开始上升,调某个服务失败该找谁?服务的参数都有什么约定?
5、一个服务有多个业务消费者,如何确保服务质量?
6、随着服务的不停升级,总有些意想不到的事发生,比如cache写错了导致内存溢出,故障不可避免,每次核心服务一挂,影响一大片,人心慌慌,如何控制故障的影响面?服务是否可以功能降级?或者资源劣化?
欢迎大家加入粉丝群:963944895,群内免费分享Spring框架、Mybatis框架SpringBoot框架、SpringMVC框架、SpringCloud微服务、Dubbo框架、Redis缓存、RabbitMq消息、JVM调优、Tomcat容器、MySQL数据库教学视频及架构学习思维导图
写在最后:
秃顶程序员的不易,看到这里,点了关注吧!
点关注,不迷路,持续更新!!!
【本人秃顶程序员】图解分布式架构的演进过程相关推荐
- 【本人秃顶程序员】高级 Java 必须突破的 10 个知识点!
←←←←←←←←←←←← 快!点关注!!! 工作多少年了,还在传统公司写if / for 等简单的代码?那你就真的要被社会淘汰了,工作多年其实你与初级工程师又有多少区别呢?那么作为一个高级Java攻城 ...
- 【本人秃顶程序员】Redis 这么火,它都解决了哪些问题?
←←←←←←←←←←←← 快!点关注 先看一下Redis是一个什么东西.官方简介解释到: Redis是一个基于BSD开源的项目,是一个把结构化的数据放在内存中的一个存储系统,你可以把它作为数据库,缓存 ...
- 【本人秃顶程序员】中小型互联网公司微服务实践-经验和教训
←←←←←←←←←←←← 我都秃顶了,还不点关注! 在开始之前我们先介绍一下几个概念,什么是微服务,它的特点是什么? Spring Boot/Cloud都做了那些事情?他们三者之间又有什么联系? 技术 ...
- 【本人秃顶程序员】使用Spring Cloud Stream和RabbitMQ实现事件驱动的微服务
←←←←←←←←←←←← 快!点关注 让我们展示如何使用Spring Cloud Stream来设计事件驱动的微服务.首先,Spring Cloud Stream首先有什么好处?因为Spring AM ...
- java程序员秃顶,【本人秃顶程序员】使用Azure Function + Cognitive Services 实现图片自动化审核...
←←←←←←←←←←←← 快!点关注 假定我们正在运行某个应用程序,此应用程序需要用户在应用程序中提交大量图片文件,那么对于系统管理员来说手动审核这些图片是很消耗时间的,并且对于图片的审核也许并不是即 ...
- 【本人秃顶程序员】美女程序员观点:程序员最重要的非编程技巧
←←←←←←←←←←←← 快!点关注 这是来自一位美女程序员Ali Spittel的观点,至少可以看看美女喜欢和怎样的男程序猿打交道: 当我想与我希望的程序员合作时,我更多地考虑非技术技能,而不是技术 ...
- 【本人秃顶程序员】Java面试题集(意思意思)
←←←←←←←←←←←← 我都秃顶了,还不点关注! 一.什么是Spring MVC ?简单介绍下你对springMVC的理解? Spring MVC是一个基于MVC架构的 用来简化web应用程序开发的 ...
- 【本人秃顶程序员】分享一些数据结构与算法常用的算法技巧总结
今天和大家讲讲,在做算法题时常用的一些技巧.对于平时没用过这些技巧的人,或许你可以考虑试着去看看在实践中能否用的上这些技巧来优化问题的解. 一.巧用数组下标 数组的下标是一个隐含的很有用的数组,特别是 ...
- 【本人秃顶程序员】求求你别再写 bug 了,秃顶程序员告诉你避免空指针的 5 个案例!
←←←←←←←←←←←← 快!点关注 空指针是我们 Java 开发人员经常遇到的一个基本异常,这是一个极其普遍但似乎又无法根治的问题. 本文,栈长将带你了解什么是空指针,还有如何有效的避免空指针. 什 ...
最新文章
- mysql 分表原理_MYSQL 分表原理(转)
- ipvsadm的几个参数输出的说明
- ant导入Zookeeper到Eclipse错误path contains invalid character
- 软件是否有必要进行性能测试
- 2015年第6届蓝桥杯Java B组省赛试题解析
- mysql 7.x 集群_MySQL cluster 7.X集群部署配置
- matlab 箱图不显示异常值_欧姆龙E5EZ温控器PV显示值跳动异常的处理,一看就懂...
- pytho读文件| python文件去重 | python去除重复行
- 人的9种2266对联文字的世界纪录(图)
- 做业务的程序猿如何提升技能?
- 如何计算机使用ssd硬盘启动,如何设置电脑固态硬盘为第一启动
- Linux监控利器nagios–NSCA被动监控
- 二维数组与指向指针的指针
- 启动Jenkins时报错,localhost拒绝了我们的连接请求
- 2019计算机考研大纲考什么,2019计算机考研大纲解析
- ATTCK红日靶场二
- JavaScript HTML DOM EventListener
- linux串口dtr,串口通信 DTR DSR RTS CTS
- Antd Charts 折线图(面积图)踩的坑
- FPGA上板流程Signaltap信号抓取