小码农也有大梦想,技术详细介绍
前言
本人是底层 211 本科,刚毕业,⽆科研经历,但是有些项⽬经历。
在国内监控行业某头部企业做过一段时间的实习。
想着投下字节,可以积累⼀下⾯试经验和为金九银十面招做准备。投了简历之后,过了一段时
间,HR 就打电话跟我约时间,
说明一下,我投的是北京 office。
以下就是一个面试的全部过程,分享出来给感兴趣的朋友们一看。
微服务是什么
微服务起源于2005年Peter Rodgers博士在云端运算博览会提出的微Web服务(Micro-Web-Service),根本思想类似于Unix的管道设计理念。2014年,由Martin Fowler 与 James Lewis共同提出了微服务的概念,定义了微服务架构风格是一种通过一套小型服务来开发单个应用的方法,每个服务运行在自己的进程中,并通过轻量级的机制进行通讯(HTTP API)。关键的三点是small、automated以及lightweight。
对比SOA,微服务可以看做是SOA的子集,是轻量级的SOA,粒度更细的服务,独立进程、数据分离,更注重敏捷、持续交付、DevOps以及去中心化实践。其共同的架构原理:
单一职责
关注分离:
控制与逻辑相分离
模块化和分而治之
特点:
用服务进行组件化
围绕业务能力进行组织
是产品而非项目
端点智能化和哑管道: 控制逻辑都在端点,管道仅仅是传输
全自动化部署
语言和数据的去中心化控制
面向失败设计
渐进式设计
综合来看,其优缺点如下:
优点:
模块的强边界
独立部署
技术选型的多样性
缺点:
分布式带来编程复杂度,远程调用的消耗
舍弃强一致性,实现最终一致性
操作复杂性要求有一个成熟的运维团队或者运维基础设施
为什么要采用微服务
是否选择微服务取决于你要设计的系统的复杂度。微服务是用来把控复杂系统的,但是随之而来的就是引入了微服务本身的复杂度。需要解决包括自动化部署、监控、容错处理、最终一致性等其他分布式系统面临的问题。即使已经有一些普遍使用的解决方案,但是仍然是有不小的成本的。
生产力和复杂度的关系如图所示,可见系统越复杂,微服务带来的收益越大。此外,无论是单体应用还是微服务,团队的技能都需要能够把控住。
马丁.福勒的一个观点是:除非管理单体应用的成本已经太复杂了(太大导致很难修改和部署),否则都不要考虑微服务。大部分应用都应该选择单体架构,做好单体应用的模块化而不是拆分成服务。
因此,系统一开始采用单体架构,做好模块化,之后随着系统变得越来越复杂、模块/服务间的边界越来越清晰,再重构为微服务架构是一个合理的架构演化路径。
四个可以考虑上微服务的情况:
多人开发一个模块/项目,提交代码频繁出现大量冲突。
模块间严重耦合,互相依赖,每次变动需要牵扯多个团队,单次上线需求太多,风险大。
主要业务和次要业务耦合,横向扩展流程复杂。
熔断降级全靠if-else。
微服务的三个阶段:
微服务1.0:
仅使用注册发现,基于SpringCloud或者Dubbo进行开发。
微服务2.0:
使用了熔断、限流、降级等服务治理策略,并配备完整服务工具和平台。
微服务3.0:
Service Mesh将服务治理作为通用组件,下沉到平台层实现,应用层仅仅关注业务逻辑,平台层可以根据业务监控自动调度和参数调整,实现AIOps和智能调度。
微服务架构
先决条件
快速的环境提供能力:
依赖于云计算、容器技术,快速交付环境。
基本的监控能力:
包括基础的技术监控和业务监控。
快速的应用部署能力:
需要部署管道提供快速的部署能力。
Devops文化:
需要具有良好的持续交付能力,包括全链路追踪、快速环境提供和部署等,还需要快速的反应能力(对问题、故障的快速响应),开发和运维的协同工作。
此外,根据康威定律和逆康威定律(技术架构倒逼组织架构改进),组织架构也是一个很关键的因素。对应于微服务架构,组织架构需要遵循以下原则:
一个微服务由一个团队维护,团队成员以三人为宜。
单个团队的任务和发展是独立的,不受其他因素影响。
团队是功能齐全、全栈、自治的,扁平、自我管理。
基础设施
微服务的推行需要依赖于很多底层基础设施,包括提供微服务的编译、集成、打包、部署、配置等工作,采用PaaS平台解决微服务从开发到运行的全生命周期管理,同时提供异构环境管理、容器资源隔离与互通、服务伸缩漂移、服务升级与回退、服务熔断与降级、服务注册与发现。
- 最基本的基础设施
进程间通讯机制:
微服务是独立进程的,需要确定之间的通讯方式。
服务发现+服务路由: 提供服务注册中心,服务提供者和消费者通过服务发现获取服务的信息从而调用服务,实现服务的负载均衡等。
服务容错:
微服务架构中,由于服务非常多,往往是一个服务挂了,整个请求链路的服务都受到影响,因此需要服务容错,在服务调用失败的时候能够处理错误或者快速失败,包括熔断、fallback、重试、流控和服务隔离等。
分布式事务支持:
随着业务拆分为服务,那么有时候不可避免的就是跨服务的事务,即分布式事务的问题。
原则是尽量避免分布式事务,如果无法避免那么可以使用消息系统或者CQRS和Event Sourcing方案来实现最终一致性。
如果需要强一致性,则有两阶段提交、三阶段提交、TCC等分布式事务解决方案。
- 提升外部服务对接效率和内部开发效率
API网关: 负责外部系统的访问,负责跨横切面的公共层面的工作,包括安全、日志、权限控制、传输加密、请求转发、流量控制等。
典型的网关功能即对外暴露一个域名xx.com,根据第一级目录做反向路由xx.com/user,xx.com/trade。
每一级目录,如user、trade对应一个服务的域名。
此外,API网关也可以有服务编排的功能(不推荐)。
接口框架: 规范服务之间通讯使用的数据格式、解析包、自解释文档,便于服务使用方快速上手等。
- 提升测试和运维效率
持续集成:
这一部分并非是微服务特定的,对于之前的单体应用,此部分一般来说也是必要的。
主要是指通过自动化手段,持续地对代码进程编译构建、自动化测试,以得到快速有效的质量反馈,从而保证代码的顺利交付。
自动化测试包括代码级别的单元测试、单个系统的集成测试、系统间的接口测试。
自动化部署:
微服务架构,节点数动辄上百上千,自动化部署能够提高部署速度和部署频率,从而保证持续交付。
包括版本管理、资源管理、部署操作、回滚操作等功能。
而对于微服务的部署方式,包括蓝绿部署、滚动部署以及金丝雀部署。
配置中心: 运行时配置管理能够解决动态修改配置并批量生效的问题。
包括配置版本管理、配置项管理、节点管理、配置同步等。
持续交付:
包括持续集成、自动化部署等流程。
目的就是小步迭代,快速交付。
- 进一步提升运维效率
服务监控: 微服务架构下节点数目众多,需要监控的机器、网络、进程、接口等的数量大大增加,需要一个强大的监控系统,能够提供实时搜集信息进行分析以及实时分析之上的预警。
包括监控服务的请求次数、响应时间分布、最大/最小响应值、错误码分布等
服务跟踪:
跟踪一个请求的完整路径,包括请求发起时间、响应时间、响应码、请求参数、返回结果等信息,也叫做全链路跟踪。
通常的服务监控可以和服务监控做在一起,宏观信息由服务跟踪呈现,微观单个服务/节点的信息由服务监控呈现。
服务跟踪目前的实现理论基本都是Google的Dapper论文。
服务安全:
内网之间的微服务调用原则上讲应该是都可以互相访问写,一般并不需要权限控制,但有时候限于业务要求,会对接口、数据等方面有安全控制的要求。
此部分可以以配置的方式存在于服务注册中心中,和服务绑定,在请求时由做为服务提供者的服务节点进行安全策略控制。
配置则可以存储在配置中心以方便动态修改。
在微服务数量很少的情况下,以上基础设施的优先级自上而下降低。否则,仅仅依赖人工操作,则投入产出比会很低。
还需要提到的是Docker容器技术。虽然这个对于微服务并不是必须的,但是容器技术轻量级、灵活、与应用依存、屏蔽环境差异的特性对于持续交付的实现是至关重要的,即使对于传统的单体应用也能够给其带来交付效率的大幅提升。
架构设计模式
在引入微服务之后,传统的单体应用变为了一个一个服务,之前一个应用直接提供接口给客户端访问的架构不再适用。微服务架构下,针对不同设备的接口做为BFF层(Backend For Frontend),也叫做用户体验适配层,负责聚合、编排微服务的数据转换成前端需要的数据。服务之间的调用则在允许的情况下(允许延迟)尽可能使用异步消息传递方式,如此形成面向用户体验的微服务架构设计模式。如下图所示:
Client -> API Gateway -> BFF(Backend For Frontend) -> Downstream Microservices
后台采用微服务架构,微服务可以采用不同的编程语言和不同的存储机制。
前台采用BFF模式对不同的用户体验(如桌面浏览器,Native App,平板响应式Web)进行适配。
BFF、API Orchestration Layer,Edge Service Layer,Device Wrapper Layer是相同的概念。
BFF不能过多,过多会造成代码逻辑重复冗余。
可以将网关承担的功能,如Geoip、限流、安全认证等跨横切面功能和BFF做在同一层,虽然增加了BFF层的复杂性,但能够得到性能优势。
服务拆分
微服务架构最核心的环节,主要是对服务的横向拆分。服务拆分就是讲一个完整的业务系统解耦为服务,服务需要职责单一,之间没有耦合关系,能够独立开发和维护。
服务拆分不是一蹴而就的,需要在开发过程中不断地理清边界。在完全理清服务之前,尽量推迟对服务的拆分,尤其是对数据库的拆分。
拆分方法如下:
基于业务逻辑拆分
基于可扩展拆分
基于可靠性拆分
基于性能拆分
其中,对于无法修改的遗留系统,采用绞杀者模式:在遗留系统外面增加新的功能做成微服务方式,而不是直接修改原有系统,逐步的实现对老系统替换。
拆分过程需要遵守的规范如下:
先少后多、先粗后细(粒度)
服务纵向拆分最多三层,两次调用:
Controller、组合服务、基础服务
仅仅单向调用,禁止循环调用
串行调用改为并行调用或者异步化
接口应该幂等
接口数据定义严禁内嵌,透传
规范化工程名
先拆分服务,等服务粒度确定后再拆分数据库。
微服务框架
上面讲述了微服务架构的众多基础设施,如果每一个基础设施都需要自己开发的话是非常巨大的开发工作。目前市面上已经有不少开源的微服务框架可以选择。
Spring Boot
Spring Boot是用来简化新Spring应用的初始搭建以及开发过程的。其虽然不是微服务框架,但其设计的初衷本质就是微应用的底层框架,因此非常适合用于微服务基础设施的开发以及微服务的应用开发。尤其对于Spring技术栈的团队来说,基于Spring Boot开发微服务框架和应用是自然而然的一个选择。
Dubbo&&Motan
Dubbo阿里开源的服务治理框架。其出现在微服务理念兴起之前,可以看做是SOA框架的集大成之作。但其仅仅包含了微服务基础设施的部分功能,诸如熔断、服务跟踪、网关等都没有实现。
Motan则是微博开源的类似Dubbo的RPC框架,与Dubbo相比更轻量级。
服务发现 :
服务发布、订阅、通知
高可用策略 :
失败重试(Failover)、快速失败(Failfast)、资源隔离 - 负载均衡 :
最少活跃连接、一致性 Hash、随机请求、轮询等
扩展性 :
支持 SPI 扩展(service provider interface)
其他 :
调用统计、访问日志等
Spring Cloud
Spring Cloud是基于Spring Boot实现的微服务框架,也可以看做一套微服务实现规范。基本涵盖了微服务基础设施的方方面面,包括配置管理、服务发现、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等。其基于Spring生态,社区支持非常好。但其很多组件都没有经过生产环境验证,需要慎重选择。
Spring Cloud Netflix是Spring Cloud的一个子项目,是Spring对Netflix OSS的集成实现。基于Netflix的大规模使用,其中的已经被广泛使用的组件包括:
此外,另一个子项目Spring Cloud Alibaba则是Alibaba开源的基于Spring Boot的微服务框架,主要是对阿里云服务的支持。
Eureka:
服务注册和服务发现
Ribbon:
弹性而智能的进程间和服务通讯机制,客户端负载均衡
Hystrix:
熔断器,在运行时提供延迟和容错的隔离
Zuul: 服务网关
Service Mesh
上述的微服务框架都是侵入式的,服务化的过程都需要进行代码改造。Service Mesh则是下一代微服务架构,最明显的特征就是无入侵。采用sidecar模式来解决系统架构微服务化后的服务间通信和治理问题。如下图所示:
目前主流的开源实现包括:
限于Service Mesh带来的性能延迟的开销以及sidecar对分布复杂性的增加,其对大规模部署(微服务数目多)、异构复杂(交互协议/开发语言类型多)的微服务架构带来的收益会更大。
Linkerd和Envoy:
以 sidecar 为核心,关注如何做好proxy,并完成一些通用控制平面的功能。
缺乏对这些sidecar的管理和控制。
Istio和Conduit:
目前最为流行的Service Mesh实现方案,集中在更加强大的控制平面(sidecar被称为数据平面)功能。
前者由Google和IBM合作,并使用了Envoy作为sidecar部分的实现;
后者则是Linkerd作者的作品。
相比起来,Istio有巨头背景,功能强大,但可用性和易用性一直不高,Conduit则相对简单、功能聚焦。
Sofastack
蚂蚁金服开源的构建金融级分布式架构的一套中间件。包括微服务开发框架、RPC框架、服务注册中心、全链路追踪、服务监控、Service Mesh等一整套分布式应用开发工具。
特别值得一提的是SOFAMesh。其是对下一代微服务架构Service Mesh的大规模落地方案实践,基于 Istio改进和扩展而来,应该是国内最为成熟的开源Service Mesh方案。
此外,需要提到Kubernetes(K8s),其本身提供了部分的微服务特性支持(通过域名做服务发现),对代码无侵入。但服务调用、熔断这些都需要自己实现。
综上,目前公司技术团队技术栈是Spring,并且已有服务的实现都是基于Dubbo,因此选择Spring Cloud Netflix做为基础的微服务框架,对其中不成熟或者缺乏的组件,选择业界更为成熟的组件替代即可。
API网关:
Zuul
服务注册中心:
Dubbo
配置中心:
disconf
服务监控&&全链路追踪:
CAT
服务开发框架:
Spring Boot
日志监控、告警:
ELK + Elasalert
流量控制:
Sentinel
消息队列:
Kafka
总结
在清楚了各个大厂的面试重点之后,就能很好的提高你刷题以及面试准备的效率,接下来小编也为大家准备了最新的互联网大厂资料。
资料领取:点我即可免费领取
&&全链路追踪:
CAT
服务开发框架:
Spring Boot
日志监控、告警:
ELK + Elasalert
流量控制:
Sentinel
消息队列:
Kafka
总结
在清楚了各个大厂的面试重点之后,就能很好的提高你刷题以及面试准备的效率,接下来小编也为大家准备了最新的互联网大厂资料。
资料领取:点我即可免费领取
[外链图片转存中…(img-FcLn86qj-1620983650660)]
[外链图片转存中…(img-cppMXrz8-1620983650661)]
[外链图片转存中…(img-caqDY2h0-1620983650662)]
小码农也有大梦想,技术详细介绍相关推荐
- 小码农也有大梦想!javaweb编程技术微课版答案
一.背景 我们日常在电商网站购物时经常会遇到一些高并发的场景,例如电商 App 上经常出现的秒杀活动.限量优惠券抢购,还有我们去哪儿网的火车票抢票系统等,这些场景有一个共同特点就是访问量激增,虽然在系 ...
- 小码农也有大梦想!人机猜拳java项目代码
选择 在现在这个浮躁而又拜金的社会,我相信很多人做技术并非出于热爱,只是被互联网的高薪吸引,毕竟技术岗位非常枯燥,不仅要面对奇奇怪怪的需求,还要不停的充实自己避免被淘汰.所以想要吃好技术这碗饭并不容易 ...
- 小码农也有大梦想!java编译环境是什么意思
前言 很多程序员都会担心35岁的职业危机,而数据也显示,40岁以上的程序员几乎不存在,大都转了管理岗,余下的只能被迫离职或者转行.然而,太久待在舒适区,可能连小公司的面试,都很难通过了. 程序员是最需 ...
- 小码农也有大梦想!看我如何一步一步攻克面试官,2021最新版!
写在前面 很多小伙伴留言说让我写一些工作过程中的真实案例,写些啥呢?想来想去,写一篇我在以前公司从零开始到用户超千万的数据库架构升级演变的过程吧. 本文记录了我之前初到一家创业公司,从零开始到用户超千 ...
- 小码农也有大梦想!Java程序培训哪里好
蚂蚁金服一面(技术面) JVM 内存分哪几个区,每个区的作用是什么?JVM有哪些回收算法,对应的收集器有哪些? GC 的两种判定方法 ?CMS 收集器与 G1 收集器的特点. hashmap源码问题 ...
- 小码农也有大梦想!最小公倍数java算法
学习内容大致内容: 1.架构师筑基(Linux基础与进阶+Netty框架+Mysql+并发编程+JVM性能调优+Tomcat) 2.开源框架(主要涉及SSM框架) 3.高性能架构(Mysql高性能存储 ...
- Android文字基线Baseline算法的使用讲解,小码农也有大梦想
Baseline是文字绘制时所参照的基准线,只有先确定了Baseline的位置,我们才能准确的将文字绘制在我们想要的位置上.Baseline的概念在我们使用TextView等系统控件直接设置文字内容时 ...
- 身家过亿的帝都王子来到1024盛宴-小码农献上linux进阶知识点一篇
文章目录 身家过亿的帝都王子来到1024盛宴-小码农献上linux进阶知识点一篇 联动文章 [身家过亿的帝都公主来到1024盛宴-小码农弟弟献上linux基础知识点一篇](https://blog.c ...
- 身价过亿的帝都富豪对小码农说预处理学的不错
文章目录 为了给富豪面子,小码农写了这篇博客-- 程序环境和预处理 ==**帝都富豪与富家总裁联动文章 [身价过亿的女总裁对小码农说你按键会了吗](https://blog.csdn.net/qq_4 ...
最新文章
- 用原始方法解析复杂字符串,json一定要用JsonMapper么?
- (三)RocketMQ集群部署实践
- PHP连接PGSQL
- 【20171108晚】BeEF 局域网中的一次实战演练(三)
- 利用html sessionStorge 来保存局部页面在刷新后回显,保留
- Ubuntu 14.04 安装配置 cairo-dock 实现美化+特效
- linux chmod -r,linux chmod -R 777 / 的危害
- 课题申报书范文_高等学校教改课题申报书范文
- Java设计模式学习总结
- 一元多次方程C语言,C语言解决多元多次方程.(19页)-原创力文档
- ONOS架构中的YANG、P4 Runtime
- 74LSxx versus. 74HCxx
- 睡个“好”觉,还真是有益身心胖瘦的
- 机器学习项目-垃圾邮件分类-KNN-SVM-DT-RF-GBDT-Bayes
- Dataset的用法简析
- open falcon mysql参数_open-falcon 监控MySQL及自定义监控指标
- 【转载】按键精灵对安卓APP进行自动化界面点击测试
- Vivado时序分析
- ORA-22858: invalid alteration of datatype
- JavaScript知识点总结(十一)- 内置对象
热门文章
- 计算机硬盘显示容量,求解怎么增加电脑硬盘容量
- 小白程序员的学习路线
- easypoi导出EXCEL表格,WPS能打开,OFFICE打不开问题
- python实现高校教务管理系统_Python实现新版正方教务系统爬虫
- 太硬核了,我写了一份操作系统词典送给你!
- Linux kali系统使用fcrackzip/rarcrack破解zip/rar(或者zip 7z)类型的加密压缩文件
- win10投影到此电脑显示灰色解决办法
- View与ViewGroup
- 入驻 【集简云开发者平台】,SDK嵌入接口文档介绍
- CCR炒币机器人:币圈新手炒币可以用什么方法操作?