技术只是基础

  该系列的两篇文章《.Net微服务实战之技术选型篇》和《.Net微服务实战之技术架构分层篇》都是以技术角度出发描述微服务架构的实施。

  如果技术选型篇叙述的是工具,那么架构分层篇讲的就是技巧,而本篇要讨论的就是原则。一直以来我会给身边向我探讨问题的人灌输一种理念,没有什么技术银弹,因为我们做的是软件工程,提供的是问题相应的解决方案,不同类型问题的解决方案是存在着本质上的差异。

  继续提供之前的源码:https://github.com/SkyChenSky/Sikiro

PS:该篇文章与.Net无关,其实主要是沿用前面两篇文章的命名,此外我认为DevOps不是简单的工具使用,应从软件工程角度进行出发。

什么才是优秀的架构设计?

  曾经有好几个同行问过我同一个问题:什么才是优秀的架构设计?我一直信奉着两句话一个定律

  • 架构服务于业务,技术服务于架构

  • 康威定律(简单理解成组织架构的设计等同于系统架构的设计)

  架构设计其实就是一种方案取舍,在有限资源里(包括但不限人力、时间)能让团队顺利的实施技术,同时满足业务规模的需要,我认为可以称之为优秀的架构设计,简单来说两个字合适

架构核心要素

  核心的主要5大:性能、可用性、伸缩性、扩展性、安全性

  而我们所讨论的微服务,选择了扩展性,牺牲了可用性、性能,扩展性的目的就是为了快速响应需求变化降低系统耦合度提高系统模块的复用度。而微服务的调用是通过跨进程的网络通信的,跟进程内方法调用比无疑是慢了一个单位;原本单服务99.99%高可用,假如现在三个服务就是99.99%*99.99%*99.99%=99.97%。

  当然我们可以在基于微服务的通过引入其他技术提高可用性、伸缩性和安全,但是确保无疑是牺牲了性能,除了性能还会在团队开发效率与运维复杂度上会受到影响。由此可见,没有万能技术手段,而架构其实在取舍。

  引入一种技术必定带新的技术问题这是个必然结果,刚提到团队开发效率运维复杂度会受到影响,那是否有办法缓解甚至解决并提高呢?既然涉及到团队、流程这些关键字那么就应该向软件工程方向寻找方案,合适架构实施还需要合适的开发模式进行支撑的,而风靡全球的DevOps就是不二之选。

软件工程

  在行业盛传的一条公式:软件 = 软件工程 + 程序,可想而知软件工程的占据多么重要的比重。那么什么是软件工程?百度是这么解释的:

  软件工程是研究和应用如何以系统性的、规范化的、可定量的过程化方法去开发和维护软件,以及如何把经过时间考验而证明正确的管理技术和当前能够得到的最好的技术方法结合起来的学科。它涉及到程序设计语言、数据库、软件开发工具、系统平台、标准、设计模式等方面。

  我自己重新总结了一个软件工程的通俗描述,通过多人协作、有目标、有步骤、有计划的并使用科学方法论指导开发与维护程序的这个过程。也可以用一条公式表达:软件工程 = 工具 + 流程 + 模式。

 

软件危机

  软件工程的出现目的是为了解决软件危机的。软件危机其实是当时落后的软件生产方式无法满足迅速增长的计算机软件需求,从而导致软件开发与维护过程中出现一列的严重问题的现象。那么三次软件危机是什么呢?我整理了个表格(详细可以自行百度阅读)

名称 时间 原因 解决方案
第一次软件危机

20世纪60年代—70年代

使用机器语言或者汇编语言在特定的机器上进行软件的设计与编写,引出的“抽象性”和“可移植性”的问题 高级的编程语言+瀑布开发模式
第二次软件危机

20世纪80年代—90年代

软件复杂性进一步升级,需要更好更好的“可组合性”(Composability)、“可延展性”(Malleability)以及“可维护性”(Maintainability) 面向对象编程语言+设计模式
第三次软件危机 2005年至今 软件的发展速度已经远超于硬件的发展,体现于需求复杂度、技术复杂度、团队协作 更好的工具、开发模式、与协作流程

  由上可见,软件的快速发展直接促使了软件工程上的进步,新的工具、新的开发与设计模式,新的协作流程也随之而生。

开发模式的发展

  我工作多年经历了多家公司,所经历的有三种开发模式,瀑布、敏捷、DevOps。那么这三种主流的开发模式也对应着三个发展阶段:

瀑布开发模式

  瀑布开发模式是在第一次软件危机1970时Winston Royce博士提出来。其思想是把项目过程划分为主要的六个阶段:需求收集、需求分析、软件设计、程序编码、软件测试、运行维护。团队划分也通过岗位职责进行划分:产品团队、开发团队、测试团队、运维团队。到目前为止该开发模式仍然用到做项目制的开发团队。

  那么其优点与劣势也很明显,优点是计划明确,职责清晰,按部就班的完成就好。缺点是周期容易拖得太长,不容易调整变更,每个人只为自己职责范围内的负责,跨部门沟通成本大(这就是为什么我在图里画了两堵墙的原因)。我自己呆过一个瀑布模式的团队,在项目立项后就会被项目经理调动资源成为团队,而开发人员只会在这一次批次负责编码与修改测试反馈的问题,基本上上线后的问题跟你无关(除非紧急严重的),其他的BUG也许是下一个批次的另外一个开发人员帮你填。

敏捷开发模式

  准确的说敏捷开发是一种价值观和原则的体现,2001年17位IT大佬想把瀑布发模式这种重量级的开发过程替换成一种更加轻量级,可惜大家都没有达成统一意见因此把各自都认同的观念整理出来成为敏捷宣言。

  敏捷开发其实把产品、开发、测试三种岗位职责的人紧密的联系了起来,由原来长周期的大目标拆解成了一个个短周期的小目标。他之所以快,不是因为写代码快了,而是节省了很多不必要的前置条件与返工,同时小步快跑的交付也可以提高团队的士气,一个长周期项目那枯燥、乏味、痛苦的过程,谁试谁知道。

  举个例子,大家都是为公司的同个产品努力,没有什么合同谈判可言,只要需求要求相互了解清楚并且可行就可以开干了。写详细设计文档的时间,还不如花时间多沟通下需求的核心点,想办法设计得更容易满足需求。短周期的交付后,产品与客户就可以及时的查看交付效果并相应的优化与调整。(快速响应并不代表随时随地接受变更响应,可以统一归到下一个迭代周期,我不赞同拍拍脑袋的变更,自己都没清楚的功能怎么说服客户使用?

  

  敏捷开发的最大好处之一就是短周期的持续交付,这样方式能在现阶段的互联网行业得到更快速的响应与市场的抢占,同时能很好的进行技术改进与试错。但是这种”野蛮的“方式会让开发团队与运维团队形成一条鸿沟,而鸿沟的形成主要原因是运维团队希望软件的运作是可靠的,所以他们对资源的变动、新技术的使用尤为的小心、谨慎。

  我曾经呆过一个敏捷开发团队,生产出了问题运维团队会自行去修改配置,当然会越改越错了,而且一天发布次数多了,就会起争执。

DevOps

  DevOps可以看过是敏捷的扩展与延申,它的出现就是为了解决开发团队与运维团队的那条鸿沟,只要存在人工处理的方式担心的问题总会出现,同一段程序无论执行多少次相同输入的输出总是一致的,但是人的处理却不能保证,那么使用自动化改善协作的过程,鸿沟自然就跨越了,。那么开发团队与运维团队就可以为相同的目标与方向而努力。而组织架构也将演变成如下:

  

  从上图也与开头的康威定律做了一个很好的呼应。

我是如何实施DevOps的?

 

技术

  这个角度是大家最乐意去关注的,在我们团队主要使用了以下技术,脚本什么的我就不花时间贴出来了,在我看来工具的使用,只要花点时间就能解决。

类型 名称
持续集成/持续交付 Jenkins
源代码管理 Gitlab
云平台 阿里云
软件包管理器 私有Nuget
代码检查 Reshaper
容器化 Docker
分布式链路跟踪 SkyWalking
日志系统 ES+Filebeat+kibana
系统监控 Prometheus

  原本代码检查想引入SonarQube代替人工检查+Reshaper,可惜于服务器资源不足。

  对于一般的团队,我建议优先从Gitlab+Jenkins搭建好完成CI/CD,其次把日志系统给完善起来,这两者完成得越早,给团队带来的收益就越高,后续才会有更多的时间来完善整套技术体系,这是一个良性的循环

  人延申出的就是团队与文化,经过上面的讲解大家都意识到软件工程就是一样多人协作的工作,只有团队目标一致,共同负责承担团队的项目,愿意一同与项目成长才能很好的实施DevOps。就像多匹马拉车一样,只有它们都有共同的目标的时候才能快速拉车到目的,如果他们一匹向东一匹西,只会让马车无法前行甚至四分五裂。

  在我的团队,因为在招聘人员的时候已经进行过了筛选,所以在合作上非常的顺利,当然我也经常在例会和业余的时候都会给大家传达思想,让团队成员真正的从实际意义上去理解现在的做法。

  对于已经成型的团队来说如何去落地呢?无非三种,激励、考核和逐步试行。如果有条件的公司可以设置奖金激励,如果有绩效考核的可以将DevOps实施纳入考核目标,如果两者都没的,那就选取团队里愿意改变的同事进行试行,使用过后都说好的那么更会有说服力。 

流程 

  为了落实了文化的改进与技术的使用的这个过程,我们需要科学的、有步骤、有计划的方式完成这项工作,并且可以让这套标准化的方式可以重复使用到其他项目上。

  在我的团队是有产品、前端开发,后端开发、测试、运维组成的。我采用了原型模式+DevOps模式:

  •   产品人员会优先使用Axure RP工具把需求整理产出原型并与需求方确认。

  •   产品确认好的原型就是我们技术的输入,技术拿到需求后会做一次需求评审,主要是排查需求疑惑和确认需求目标。

  •   需求明确后,由我使用Visual Project任务拆解与排期,任务会建立在我们的项目管理系统Redmine上,如果任务周期过程,我会拆分成多个可交付的短周期,一般会控制在2个星期内。

  •   接到任务后,大家就跟根据自己的任务使用PowerDesigner数据库设计(早期是由我独裁设计,后期团队发展壮大了,就由业务负责人各自设计),在这个阶段,如果有新的服务与新的工具库需要部署,我就会正面与运维沟通让他把自动化给完成。

  •   因为我们是前后端分离的,所以我们使用了Swagger减少了写接口文档的时间,所有任务是否完成以前端是否对接好接口为主导,前端对接好后,就会在Redmine修改自己的任务状态并新建一个测试任务给到测试。

  •   测试会根据自己写好的测试用例,进行对完成的任务进行场景测试,如果有BUG会在Redmine提给相应的人进行修改。一般会先由前端人员排查是否是他的交互上的BUG,如果确认是数据问题那么就会转给后端开发,开发人员定位BUG时,可以通过我们的SkyWalking和Kibana联合定位问题,定位问题时间一般都在2-10分钟。

  •   代码合并到测试分支后就会通过Jenkins发布到测试环境,生产环境的发布是合并到生产环境后手动确认发布的。

  除此之外,每周一会有一个例会内容不限工作,也可以分享周末去哪里娱乐了。在该迭代周期快到结束的2-3天会开一个进度会议,看看大家完成情况。因为公司没有下午茶,所以我们自己通过玩抢红包领到最大的两个的请吃下午茶,最少一星期一次。

结束

  该篇到这里就分享结束了,也是该系列的最后一篇,我曾经认为技术与管理必须二选一,自从我成为了一个技术与团队的负责人后,终于让我认识到,一个优秀的技术思想还是需要一些管理手段才能很好的实施,而我们的技术管理无非就是软件工程

.Net微服务实战之DevOps篇相关推荐

  1. Spring微服务实战第2章 使用Spring Boot构建微服务

    第2章 使用Spring Boot构建微服务 基于微服务的架构具有以下特点. 有约束的--微服务具有范围有限的单一职责集.微服务遵循UNIX的理念,即应用程序是服务的集合,每个服务只做一件事,并只做好 ...

  2. 微服务实战之Prometheus使用分享

    tonyyan https://www.jianshu.com/p/67ec2643c963 Prometheus是什么? Prometheus 是由 SoundCloud 开源监控告警解决方案,从 ...

  3. Spring微服务实战第1章 欢迎迈入云世界,Spring

    第1章 欢迎迈入云世界,Spring 1.1 什么是微服务 微服务架构具有以下特征. 应用程序逻辑分解为具有明确定义了职责范围的细粒度组件,这些组件互相协调提供解决方案. 每个组件都有一个小的职责领域 ...

  4. 《Spring Cloud微服务实战》100本赠书获得名单

    点击蓝色"程序猿DD"关注我哟 3月14日第三期送书活动已经结束 本次活动共有三千多位朋友参加 感谢大家对我们的支持. 本次活动一共赠书100本<Spring Cloud微服 ...

  5. go语言高并发与微服务实战_go-micro+gin+etcd微服务实战之服务注册与发现

    在构建微服务时,使用服务发现可以减少配置的复杂性,本文以go-micro为微服务框架,使用etcd作为服务发现服务,使用gin开发golang服务. 使用gin 的原因是gin能够很好的和go-mic ...

  6. 微软Azure AspNetCore微服务实战第2期(内附PPT下载)

    2018年1月28日,虽然上海的大雪在城区已经见不到踪影,但还是很冷.不过天气再冷,也阻止不了小伙伴参加活动的热情. 感谢王振,苏老师以及微软Azure API Management的产品经理Alvi ...

  7. Go语言微服务实战之API网关

    上一篇文章我们用etcd做为服务发现组件,替换了micro默认的基于mnds的服务发现,并简单通过跟踪源码了解了服务注册以及发现的原理.这篇文章,我们来认识微服务架构中另外一个很常见的东东:API G ...

  8. Spring微服务实战第9章 使用Spring Cloud Sleuth和Zipkin进行分布式跟踪

    文章目录 第9章 使用Spring Cloud Sleuth和Zipkin进行分布式跟踪 9.1 Spring Cloud Sleuth与关联ID 9.1.1 将Spring Cloud Sleuth ...

  9. java小马哥springboot_小马哥微服务实战(SpringBoot+SpringCloud)

    资源介绍 [课程内容] 一丶SpringBoot篇 1.Java 微服务实践 - Spring Boot 系列(一)初体验 2.Java 微服务实践 - Spring Boot 系列(二) Web篇( ...

最新文章

  1. 【面向对象设计模式】 适配器模式 (二)
  2. Kali linux安装漏洞扫描工具Nessus安装指南
  3. 竞赛数据清洗缺失值_Kaggle 数据清洗挑战 Day 1 - 手把手教你五步处理缺失值
  4. 2021计算机基础知识题库,2021~2021计算机基础知识练习题
  5. ssd颗粒查看工具_贴吧机佬强烈推荐的游戏SSD?西数蓝盘3D M.2 500G实测
  6. 教你从零开始学习数据库!
  7. php7.4中让gd库支持jpeg格式
  8. 能直接替代替换RC522/CV520的13.56MHz高频读写芯片,太棒了
  9. 手机浏览器打开微信小程序,支持外部浏览器跳转到小程序
  10. day 21 C# 窗体绘制一个正方体
  11. 信息搜集之CDN知识
  12. 熊猫猪新系统测试之三:iOS 8.0.2
  13. 很早以前就想要的东西,没想到今天会“妙手偶得”
  14. 文件输出流,文件拷贝,资源释放
  15. 防沉迷与身份证系统挂钩 网游要实名认证
  16. python爬取boss直聘招聘信息_Python 爬取boss直聘招聘信息!
  17. 2021下半年中小学教资考试教育知识与能力试题(中学)——主观题
  18. android的spinner字体控制
  19. 微信小程序登录页php后台,微信小程序php后台登录
  20. JAVA:实现简单的人员管理系统

热门文章

  1. 从S3中导入数据到Dynamodb
  2. Socket解决粘包问题2
  3. iOS开发UI篇—直接使用UITableView Controller
  4. 在应用程序中实现对NandFlash的操作
  5. 将Teams Template升级到dotnet core 3.1
  6. twitter批量取消关注_如何在Twitter上取消阻止“潜在敏感内容”
  7. mysql索引三个字段查询两个字段_mysql中关于关联索引的问题——对a,b,c三个字段建立联合索引,那么查询时使用其中的2个作为查询条件,是否还会走索引?...
  8. IDEA Maven创建多个Module相互依赖
  9. Rsa2加密报错java.security.spec.InvalidKeySpecException的解决办法
  10. 写一个易于维护使用方便性能可靠的Hybrid框架(一)—— 思路构建