1. 分层

分层是企业应用中最常见的一种架构模式,将系统在横向维度上切分为几个部分,每个部分负责一部分相对比较单一的职责,然后通过上层对下层的依赖和调用组成一个完整的系统。

在大型网站架构中也采用分层结构,将网站软件系统分为:应用层、服务层、数据层;

·应用层:负责具体的业务和视图展示,如网站首页及搜索输入和结果展示;

·服务层:为应用层提供服务支持,如用户管理服务,购物车服务;

·数据层:提供数据存储访问服务,如数据库、缓存、文件、搜索等;

分层架构必须合理规划层次边界和接口,在开发过程中,严格遵循分层架构的约束,禁止跨层次的调用(应用层直接调用数据层)及逆向调用(数据层调用服务层,或者服务层调用应用层)。三层结构分别部署在不同的服务器上,使网站拥有更多的计算资源以及越来越多的用户访问。在网站的发展过程中,分层结构对网站支持高并发向分布式方向发展至关重要。因此在网站规模还很小的时候就采用分层结构,这样将来网站做大时才能更好的应对。

2. 分割

网站越大,功能越复杂,服务和数据处理的种类越多,讲这些不同的功能和服务分割开来,包装成高内聚低耦合的模块单元,一方面有助于软件的开发和维护;另一方面,便于不同模块的分布式部署,提高网站的并发处理能力和功能扩展能力。

3. 分布式

对于大型网站,分层和分割的一个主要的目的是为了切分后的模块便于分布式部署,即将不同模块部署在不同的服务器上,通过远程调用协同工作。分布式意味着可以使用更多的计算机完成相同的功能,计算机越多,cpu、内存、存储资源也就越多,能够处理的并发访问和数据量就越大,进而能够为更多的用户提供服务。

分布式在解决网站高并发问题的同时也带来了其他问题:

1)分布式意味着服务调用必须通过网络,这可能会对性能造成比较严重的影响;

2)服务器越多,服务器宕机的概率也就越大,一台服务器宕机造成的服务不可用可能会导致很多应用不可访问,使网站可用性降低;

3)数据在分布式的环境中保持数据一致性也非常困难,分布式事务也难以保证,这对网站业务的正确性和业务流程可能造成很大的影响;

4)分布式导致网站依赖错综复杂,开发管理维护困难。

在网站应用中,常用的分布式方案有以下几种:

·分布式应用和服务:将分层和分割后的应用和服务模块分布式部署,可以改善网站性能和并发性、加快开发和发布速度、减少数据库连接资源消耗外,还可以使不同的应用复用共同的服务,便于业务功能扩展;

·分布式静态资源:网站的静态资源如JS、CSS、logo图片等资源独立分布式部署,并采用独立的域名,即动静分离。静态资源分布式部署可以减轻应用服务器的负载压力;通过使用独立域名加快浏览器并发加载的速度。

·分布式数据和存储:对于海量数据,单台计算机没法提供如此大的存储空间,这些数据需要分布式存储。为网站应用而生的各种NoSQL产品几乎都是分布式的。

·分布式计算:目前网站普遍使用Hadoop以及MapReduce分布式计算框架进行计算。

此外,还有可以支持网站线上服务器配置实时更新的分布式配置;分布式环境下实现并发和协调的分布式锁;支持云存储的分布式文件系统等;

4. 集群

使用分布式虽然已经将分层和分割后的模块独立化部署,但是对于用户访问集中的模块,还需要将独立部署的服务器集群化,即多台服务器部署相同应用构成一个集群,通过负载均衡设备共同对外提供服务。

因为服务器集群有更多服务器提供相同服务,因此可以提供更好的并发性。当有更多用户访问的时候,只需要向集群中加入新的机器即可。因为一个应用由多态服务器提供,当某台服务器发生故障时,负载均衡设备将请求转发到集群中其他服务器上,使服务器故障不影响用户使用。所以在网站应用中,即使是访问量很小的分布式应用和服务,也至少要部署两台服务器构成一个小的集群,目的是提高系统的可用性。

5. 缓存

大型网站架构设计在很多方面都是用了缓存设计:

·CDN:即内容分发网络,部署在距离终端用户最近的网络服务商,用户的网络请求总是先到达他的网络服务商哪里,在这里缓存网站的一些静态资源,可以就近以最快的速度返回给用户,如视频网站和门户网站会将访问量大的热点内容缓存在CDN。

·反向代理:反向代理属于网站前端架构的一部分,部署在网站的前端,当用户请求到达网站的数据中心时,最先访问到的是反向代理服务器,这里缓存网站的静态资源,无需将请求继续转发给应用服务器就能返回给用户。

·本地缓存:在应用服务器本地缓存着热点数据,应用程序可以在本机内存中直接访问数据,而无需访问数据库。

·分布式缓存:大型网站的数据量非常庞大,即使只缓存一小部分,需要的内存空间也不是单机能承受的,所以除了本地缓存,还需要分布式缓存,将数据缓存在一个专门的分布式缓存集群中,应用程序通过网络通信访问缓存数据。

使用缓存有两个前提条件,一是数据访问热点不均衡,某些数据会被更频繁的访问,这些数据应该放在缓存中;二是数据在某个时间段内有效,不会很快过期,否则缓存的数据就会因已经失效而产生脏读,影响结果的正确性。网站应用中,缓存除了可以加快数据访问速度,还可以减轻后端应用和数据存储的负载压力,这一点对网站数据库架构至关重要,网站数据库几乎都是按照有缓存的前提进行负载能力设计的。

6. 异步

在大型网站架构中,系统解耦合的手段除了前面提到的分层、分割、分布等,还有一个重要的手段是异步,业务之间的消息传递不是同步调用,而是将一个业务操作分成多个阶段,每个阶段之间通过共享数据的方式异步执行进行协作。

在单一服务器内部可通过多线程共享内存队列的方式实现异步,处在业务操作前面的线程将输出写入到队列,后面的线程从队列中读取数据进行处理;

在分布式系统中,多个服务器集群通过分布式消息队列实现异步,分布式消息队列可以看做内存队列的分布式部署。

异步架构是典型的生产者消费者模式,两者不存在直接调用,只要保持数据结构不变,彼此功能实现可以随意变化而不相互影响,这对网站扩展新功能非常便利。除此之外,使用异步消息队列还有如下特性:

·提高系统的可用性:消费者服务器发生故障,数据会在消息队列服务器中存储堆积,生产者服务器可以继续处理业务请求,系统整体表现无故障。消费者服务器恢复正常后,继续处理消息队列中的数据。

·加快网站响应速度:处在业务处理前端的生产者服务器在处理完业务请求后,将数据写入消息队列,不需要等待消费者服务器处理就可以返回,响应延迟减少。

·消除并发访问高峰:使用消息队列将突然增加的访问请求数据放到消息队列中,等待消费者服务器依次处理,就不会对整个网站负载造成太大的压力。

但需要注意的是,使用异步方式处理业务可能会对用户体验、业务流程造成影响,需要网站产品设计方面的支持。

7. 冗余

网站需要7x24小时连续运行,但是服务器随时可能出现故障,特别是服务器规模比较大时,出现某台服务器宕机是必然事件。想要保证在服务器宕机的情况下网站依然可以继续服务,不丢失数据,就需要一定程度的服务器冗余运行,数据冗余备份,这样当某台服务器宕机时,可以将其上的服务和数据访问转移到其他机器上。

访问和负载很小的服务也必须部署至少两台服务器构成一个集群,其目的就是通过冗余实现服务高可用。数据库除了定期备份,存档保存,实现冷备份外,为了保证在线业务高可用,还需要对数据库进行主从分离,实时同步实现热备份。

8. 自动化

9. 安全

----新浪微博平台架构

http://blog.jobbole.com/83459/

转载于:https://blog.51cto.com/wlan2014/1911128

大型网站技术架构-2. 大型网站架构模式相关推荐

  1. 关于大型网站技术演进的思考--网站静态化处理

    转自: 夏天的森林blog:(系统设计与架构(47)) 一 在存储瓶颈的开篇我提到像hao123这样的导航网站只要它部署的web服务器数量足够,它可以承载超大 规模的并发访问量,如果是一个动态的网站, ...

  2. 在线网站技术分析工具

    Wappalyzer:在线网站技术分析工具 Wappalyzer 网站是一个可以分析不同网站所使用的各种技术的工具,对于有自身经验的网站开发者而言可以通过代码开分析网站的构架和所采用的技术,不过现在你 ...

  3. 大型网站技术架构(3):WEB 前端性能优化

    上次说到了性能优化策略,根据网站的分层架构,可以大致的分为 web 前端性能优化,应用服务器性能优化,存储服务器性能优化三大类 这次来说一下 web 前端性能优化,一般来说,web 前端就是应用服务器 ...

  4. 《大型网站技术架构》《K8S进阶实战》等书籍!送45本!读完工资多个0!

    学习如逆水行舟,不进则退.所以又来给各位读者送书了,这次送45本技术书,内容涉及深度学习.Python.Dubbo.Flutter等. 感谢本次活动的赞助商『电子工业出版社博文视点』 另外!急于购书的 ...

  5. 小白入门:大型网站技术架构负载均衡技术介绍及学习资源推荐

    十年间,负载均衡的前沿技术层出不穷,令用户眼花缭乱.经常在技术网站.文档中出现的"四层负载均衡"."七层负载均衡"字眼有什么含义?有什么区别?对客户网络有哪些不 ...

  6. 《大型网站技术架构:核心原理及案例分析》阅读笔记01

    第一篇:概述   1.大型网站架构演化 从上世纪90年代初,Web标准和Web服务出现来计算,互联网发展了仅仅20年,但是,它的发展速度却是惊人的,世界被互联网改变着.随着互联网的发展,越来越多的问题 ...

  7. 读书笔记-大型网站技术架构(核心原理与案例分析)

    一.大型网站架构演化 1.1 大型网站软件系统的特点 高并发.大流量:高可用:海量数据:用户分布广泛,网络情况复杂:安全环境恶劣:需求快速变更,发布频繁:渐进式发展: 1.2 大型网站架构演化发展历程 ...

  8. 各种大型网站技术架构

    引言近段时间以来,通过接触有关海量数据处理和搜索引擎的诸多技术,常常见识到不少精妙绝伦的架构图.除了每每感叹于每幅图表面上的绘制的精细之外,更为架构图背后所隐藏的设计思想所叹服.个人这两天一直在搜集各 ...

  9. 大型网站技术架构(四)网站的高性能架构

    2019独角兽企业重金招聘Python工程师标准>>> 网站性能是客观的指标,可以具体体现到响应时间.吞吐量.并发数.性能计数器等技术指标. 1.性能测试指标 1.1 响应时间 指应 ...

  10. 大型网站技术架构:核心原理与案例分析阅读笔记二

    大型网站技术架构:核心原理与案例分析阅读笔记二 网站架构设计时可能会存在误区,其实不必一味追随大公司的解决方案,也不必为了技术而技术,要根据本公司的实际情况,制定适合本公司发展的网站架构设计,否则会变 ...

最新文章

  1. Science:人类迎来目前最为全面的癌症染色质可及性图谱
  2. 【Android 组件化】路由组件 ( 注解处理器获取被注解的节点 )
  3. C# 类型运算符重载在类继承中的调用测试
  4. python(matplotlib5)——Contours 等高线图
  5. 【转载】SpringBoot系列——Swagger2
  6. origin如何绘制双y轴曲线_Origin用矩阵绘制多层曲面映射图
  7. Flink之状态之状态存储 state backends
  8. 【PTA天梯赛CCCC -2017决赛L2-3】图着色问题 (25 分)(图染色)
  9. hadoop--Reduce Join
  10. 信息学奥赛一本通(1092:求出e的值)
  11. Django复习:视图和模版
  12. Matlab 生成vhdl,matlab - 使用HDL Workflow Advisor将Matlab代码转换为vhdl - 堆栈内存溢出...
  13. 【Linux】Linux查看机器负载-CPU负载 CPU使用率达到100%
  14. 数据:比特币和以太坊的证券产品规模已超过百亿美元
  15. 神经网络中的分类器该如何改成生成器?
  16. Java课堂作业-------参数求和
  17. 【智能优化算法】基于基于遗传算法实现认知无线电优化求解附matlab代码
  18. win10未检测到任何音频设备解决办法
  19. iOS-性能优化的那些事
  20. python+opencv填充图像不规则区域:fillPoly和fillConvexPoly区别、半透明填充方法

热门文章

  1. 3D人脸模型建模工具,用于人脸建模,3DMM系数匹配
  2. 孪生网络图像相似度_论文浅尝 | 使用孪生BERT网络生成句子的嵌入表示
  3. 易语言 html对象,易语言ExceL对象 内容格式使用方法附源代码
  4. python机器学习常用模型
  5. 高通Hexagon环境搭建和camera_streaming example运行方法
  6. Java之数字字符串排序
  7. php递归函数实用吗,php递归函数怎么用才有效
  8. 规划IBM Spectrum Scale
  9. Node.js:nodemailer发送163邮件
  10. php900塞孔油墨_HDI树脂油墨塞孔工艺研究