来源 | 无敌码农

责编 | 寇雪芹

头图 | 下载于视觉中国

实施微服务架构后,原先单一的系统结构统变成了数量众多的微服务应用,开发、测试、运维部署等都会面临不少挑战。在微服务架构下如何提高工程研发效率,确保开发、测试、运维部署等流程上的顺畅,是微服务技术体系能够真正落地产生效益的关键。

要实现上述目标就需要基于DevOps(开发运维)思想构建一套高度自动化的发布系统,在该系统中开发人员可以随时随地构建代码并将其发布至指定的运行环境中,这个过程也就是我们通常所说的CI/CD(持续集成/持续交付)流程。

关于DevOps的具体实践,不同的公司一般会根据自身的发展阶段和实际需要来选择具体落地的方案。具备条件的公司可以研发功能丰富的可视化发布系统,而条件有限的创业公司则可以通过开源或现有的技术组件(如GitLab、Jenkins等)来实现操作相对简陋但功能完备的自动化发布系统。

在本将以Spring Cloud微服务技术体系为背景,通过GitLab自带的CI/CD机制并基于Kubernetes容器化技术来实现一套具备相对完整CI/CD流程的自动化发布系统。

CI/CD流程概述

实际上DevOps并不是微服务架构流行之后才产生的概念,而是业界在多年软件开发实践中积累的理论、工具的集合。本文所要讨论的自动化发布系统实际上是要通过搭建CI/CD流水线来建立一套应用程序构建、测试、打包及发布的高效自动化方法。关于CI(持续集成)/CD(持续交付)的概念并不是指某一种具体的技术,而是一种软件工程文化加一系列操作原则和具体实践的集合。

其中CI(持续集成)的主要目标是通过建立一致的自动化构建方法来打包程序代码,使得团队成员能够以更频繁地动作提交代码、更早地进行代码集成,以及时发现和解决代码中的问题、提高协作开发效率及软件交付质量。可持续集成(CI)的基本流程如图所示:

从实现流程上来说CI的主要过程就是将开发人员提交的代码以高度自动化的方式打包成可以在具体基础架构环境运行的程序包(例如Docker镜像)。而这个过程可以由一组工具如GitLab Runner(CI Pipeline)、Sonar(代码检测工具)等去完成,具体构建CI流程时根据实际需要集成运用即可。

持续交付(CD)的主要逻辑则是将CI流程中构建的程序镜像从镜像仓库自动发布到具体的基础架构环境(如测试/生产Kubernetes集群),实现CD的工具主要有GitLab Runner(CD Pipeline)、Helm(Kubernetes软件包管理工具)等。

实际上CD的核心就是通过输入的各种用户参数(如yaml文件、环境配置参数等)最终自动生成具体的发布指令(如Helm指令),并根据参数中设置的相应信息来配置程序的具体运行环境。可持续交付(CD)的基本运行流程如下图所示:

以上就是CI/CD的基本概念及流程,也是自动化发布系统的实现的依据。在后面的内容中将主要围绕这两个阶段来实现自动化发布系统的基本流程逻辑。

系统的基本组成

本文所要描述的自动化发布系统主要是利用GitLab提供的GitLab CI机制,实现当代码发生提交或合并等事件时自动触发预设的CI/CD流程。其中CI流程主要包括基本的代码编译、构建、打包等阶段,并在完成上述步骤后将打包好的应用Docker镜像发布至镜像仓库。

而CD阶段则是从镜像仓库拉取应用Docker镜像,并根据设置的CD流程将应用发布至指定的Kubernetes集群。具体系统结构如下图所示:

如上图所示,该自动化发布系统主要由GitLab、Harbor镜像仓库及Kubernetes集群组成。其中GitLab主要承担代码版本的管理,以及CI/CD流程定义和触发, Harbor负责应用Docker镜像的存储和分发,而Kubernetes集群则是应用容器运行的基础架构环境。

GitLab-CI自动化发布系统的关键实现

前面我们描述了基于GitLab-CI机制实现自动化发布系统的基本组成,要具体实现这套系统你需要安装部署GitLab服务器并配置GItLab Runner功能,私有镜像仓库服务(Harbor或JFrog)以及Kubernetes集群(具体可参见本专栏的其他文章)。

由于GitLab服务器是CI/CD流程执行的主要承载点,如果你的服务是基于Maven构建的Java服务,那么还需要在GitLab服务器中安装Maven客户端,并配置Maven私服的地址,以提高构建速度。此外GitLab服务器在CI/CD流程执行中还会运行Docker镜像打包构建,将镜像push到Docker镜像仓库以及将Docker镜像从私有仓库发布至Kubernetes集群等逻辑,所以GitLab服务器还需要安装Docker环境及kubelet客户端。

如果环境都OK,那么我们就可以在Gitlab项目根目录代码中创建“.gitlab-ci.yml”文件并定义具体的CI/CD流程了。但在具体定义之前,我们需要在Maven项目中添加应用Docker镜像打包的插件配置及Dockerfile文件定义,具体如下:

<!--添加Docker镜像Maven打包插件-->
<plugin><groupId>com.spotify</groupId><artifactId>dockerfile-maven-plugin</artifactId><version>1.4.13</version><executions><execution><id>build-image</id><phase>package</phase><goals><goal>build</goal></goals></execution></executions><configuration><!--指定Dockerfile文件位置--><dockerfile>docker/Dockerfile</dockerfile><!--指定Docker镜像仓库路径--><repository>${docker.repository}/springcloud-action/${app.name}</repository><buildArgs><!--提供参数向Dockerfile传递--><JAR_FILE>target/${project.build.finalName}.jar</JAR_FILE></buildArgs></configuration>
</plugin>

在项目工程pom.xml文件中添加“dockerfile-maven-plugin”插件,该插件是早期“docker-maven-plugin”插件的替代品,支持将Maven项目构建打包为Docker镜像。上述配置中,针对Docker镜像的具体构建方式,是通过在<configuration>标签中指定Dockerfile文件来实现的。具体可在项目工程中创建docker目录,并创建Dockerfile文件,内容如下:

FROM openjdk:8u191-jre-alpine3.9
ENTRYPOINT ["/usr/bin/java", "-jar", "/app.jar"]
ARG JAR_FILE
ADD ${JAR_FILE} /app.jar
EXPOSE 8080

配置好Maven打包插件后,就能支持通过Maven打包命令,将应用代码打包成Docker镜像了。此时我们在".gitlab-ci.yml"文件中定义具体的CI/CD构建Stages,示例如下:

#环境参数信息
variables:#Docker镜像仓库地址&账号密码信息DOCKER_REPO_URL: "10.211.55.11:8088"DOCKER_REPO_USERNAME: adminDOCKER_REPO_PASSWORD: Harbor12345#Kubernetes相关信息配置(空间与服务端口)K8S_NAMESPACE: "wudimanong"PORT: "8080"#定义CI/CD阶段
stages:- test- build- push- deploy#执行单元测试阶段
maven-test:stage: testscript:- mvn clean test#代码编译打包镜像阶段
maven-build:stage: buildscript:- mvn clean package -DskipTests#将打包的Docker镜像上传至私有镜像仓库
docker-push:stage: pushscript:#对打包的镜像进行tag- docker tag $DOCKER_REPO_URL/$CI_PROJECT_PATH $DOCKER_REPO_URL/$CI_PROJECT_PATH/$CI_BUILD_REF_NAME:${CI_COMMIT_SHA:0:8}#登录私有镜像仓库- docker login $DOCKER_REPO_URL -u $DOCKER_REPO_USERNAME -p $DOCKER_REPO_PASSWORD#上传应用镜像至镜像仓库- docker push $DOCKER_REPO_URL/$CI_PROJECT_PATH/$CI_BUILD_REF_NAME:${CI_COMMIT_SHA:0:8}- docker rmi $DOCKER_REPO_URL/$CI_PROJECT_PATH/$CI_BUILD_REF_NAME:${CI_COMMIT_SHA:0:8}- docker rmi $DOCKER_REPO_URL/$CI_PROJECT_PATH#将应用发布至Kubernetes测试集群(这里指定为手动确认方式)
deploy-test:stage: deploywhen: manualscript:- kubectl config use-context kubernetes-admin@kubernetes- sed -e  "s/__REPLICAS__/1/; s/__PORT__/$PORT/; s/__APP_NAME__/$CI_PROJECT_NAME/; s/__PROFILE__/test/;  s/__IMAGE__/$DOCKER_REPO_URL\/${CI_PROJECT_PATH//\//\\/}\/${CI_BUILD_REF_NAME//\//\\/}:${CI_COMMIT_SHA:0:8}/" kubernetes/deploy.yaml | kubectl -n ${K8S_NAMESPACE}  apply -f  -

如上所述,我们在“.gitlab-ci.yml”文件中定义了”test、build、push、deploy”这4个stages阶段。这几个stages的具体说明如下:

  • test:执行单元测试代码;

  • build:执行构建打包指令,将应用构建打包为Docker镜像;

  • push:该阶段主要是将build构建的本地Docker镜像经过tag处理后上传至Harbor镜像仓库,并在成功后清理掉本地镜像文件;

  • deploy:该阶段主要是执行Kubernetes指令,根据Kubernetes发布部署文件的配置,将容器镜像部署发布至Kubernetes集群;

在deploy阶段,是将Docker镜像发布运行至Kubernetes集群,其中涉及编写Kubernetes部署发布yaml文件,具体示例如下:

---
apiVersion: apps/v1
kind: Deployment
metadata:name: __APP_NAME__
spec:replicas: __REPLICAS__selector:matchLabels:app: __APP_NAME__strategy:type: RollingUpdatetemplate:metadata:labels:app: __APP_NAME__spec:imagePullSecrets:- name: wudimanong-ecrcontainers:- name: __APP_NAME__image: __IMAGE__resources:requests:memory: "1000M"limits:memory: "1000M"volumeMounts:- name: time-zonemountPath: /etc/localtime- name: java-logsmountPath: /opt/logsports:- containerPort: __PORT__env:- name: SPRING_PROFILES_ACTIVEvalue: __PROFILE__- name: JAVA_OPTSvalue: -Xms1G -Xmx1G -Dapp.home=/opt/volumes:- name: time-zonehostPath:path: /etc/localtime- name: java-logshostPath:path: /data/app/deployment/logs

如果一切准备妥当,此时你向GitLab仓库提交代码将自动触发构建Pipeline,而Pipeline将自动运行你在“.gitlab-ci.yml”文件中定义的具体CI/CD流水线逻辑,从而实现应用的自动化发布效果。

基于GitLab-CI机制的自动化发布系统由于其构建方式比较简单,不需要太多的开发工作,因此目前不少创业公司中都采用了此类方案来实现微服务的自动化构建和交付。

以上就是本文所要表达的全部内容,希望能对你理解自动化发布系统的实现原理有所帮助!

关于 Devops 技术,我们还有

如何部署一个Kubernetes集群

Docker私有镜像仓库是什么?

上手 Docker 容器,不应该是个问题

什么魔力让 Docker 一发不可收拾?

60+专家,13个技术领域,CSDN 《IT 人才成长路线图》重磅来袭!

直接扫码或微信搜索「CSDN」公众号,后台回复关键词「路线图」,即可获取完整路线图!

更多精彩推荐
☞5G、射频、奥特曼,这仨有联系吗?☞再见 Nacos,我要玩 Service Mesh 了!☞用根因定位法,让运维效率再高一点!
点分享点收藏点点赞点在看

如何搞定 K8S 微服务自动化发布系统相关推荐

  1. 【微服务】之六:轻松搞定SpringCloud微服务-API网关zuul

    通过前面几篇文章的介绍,我们可以轻松搭建起来微服务体系中比较重要的几个基础构建服务.那么,在本篇博文中,我们重点讲解一下,如何将所有微服务的API同意对外暴露,这个就设计API网关的概念. 本系列教程 ...

  2. Blazor+Dapr+K8s微服务之基于WSL安装K8s集群并部署微服务

     前面文章已经演示过,将我们的示例微服务程序DaprTest1部署到k8s上并运行.当时用的k8s是Docker for desktop 自带的k8s,只要在Docker for desktop中启用 ...

  3. Blazor+Dapr+K8s微服务之开发环境调试

    1 安装Dapr开发调试环境 1.1 Dapr 完整安装模式不支持开发调试 在上一篇随笔<Blazor+Dapr+K8s微服务之服务调用>中,我们通过为每个微服务运行dapr run -. ...

  4. 通过Dapr实现一个简单的基于.net的微服务电商系统(四)——一步一步教你如何撸Dapr之订阅发布...

    之前的章节我们介绍了如何通过dapr发起一个服务调用,相信看过前几章的小伙伴已经对dapr有一个基本的了解了,今天我们来聊一聊dapr的另外一个功能--订阅发布 目录: 一.通过Dapr实现一个简单的 ...

  5. 开源微信管家平台——JeeWx 捷微4.0 微服务版本发布,全新架构,全新UI,提供强大的图文编辑器...

    JeeWx捷微4.0   微服务版本发布^_^ 换代产品(全新架构,全新UI,提供强大的图文编辑器) JEEWX 从4.0版本开始,技术架构全新换代,采用微服务架构,插件式开发,每个业务模块都是独立的 ...

  6. 微软专家教你,如何搞定树莓派 AI 服务开发

    本文来自作者 微软公开课 在 GitChat 上分享 「60分钟轻松搞定树莓派 AI 服务开发」 编辑 | Mc Jin 作者: 施炯,浙江万里学院物联网工程系主任,硕士研究生导师,<Windo ...

  7. (2022版)一套教程搞定k8s安装到实战 | Ingress

    视频来源:B站<(2022版)最新.最全.最详细的Kubernetes(K8s)教程,从K8s安装到实战一套搞定> 一边学习一边整理老师的课程内容及试验笔记,并与大家分享,侵权即删,谢谢支 ...

  8. JAVA版本微信管家平台—JeeWx 捷微 4.1 微服务版本发布,微信砍价活动闪亮登场!...

    捷微 4.1   微服务版本发布,微信砍价活动闪亮登场 ^_^ JEEWX 从4.0版本开始,技术架构全新换代更名 "捷微H5".这是一款开源免费的微信运营平台,是jeewx的新一 ...

  9. JAVA版微信管家平台——JeeWx 捷微4.0 微服务版本发布,全新架构,全新UI,提供强大的图文编辑器

    JeeWx捷微4.0   微服务版本发布^_^ 换代产品(全新架构,全新UI,提供强大的图文编辑器) JEEWX 从4.0版本开始,技术架构全新换代,采用微服务架构,插件式开发,每个业务模块都是独立的 ...

  10. (2022版)一套教程搞定k8s安装到实战 | 临时容器

    视频来源:B站<(2022版)最新.最全.最详细的Kubernetes(K8s)教程,从K8s安装到实战一套搞定> 一边学习一边整理老师的课程内容及试验笔记,并与大家分享,侵权即删,谢谢支 ...

最新文章

  1. ubuntu常用翻译工具stardict
  2. JavaSE—集合框架
  3. 如何处理SAP HANA Web-Based Development Workbench的403 Forbidden错误
  4. 思科模拟器:[1]安装及汉化详解
  5. 【网络小说推荐】纨绔才子
  6. 如何复制或导出托管磁盘
  7. gps l1带宽_民用GPS接收机可达到的最高更新速率是多少?
  8. LeetCode算法题-Binary Number with Alternating Bits(Java实现)
  9. 非华为电脑安装华为电脑管家
  10. C++调用libVLC播放视频
  11. xlsx模块 前端_node模块之xlsx使用
  12. 商品详情页系统架构-笔记12 - 商品详情页整体架构组成+前端介绍
  13. 单片机c语言中断意义,51单片机中断系统的重要性
  14. 高刷显示器变成24Hz的原因及解决方法
  15. Android RadarScanView雷达扫描控件
  16. GPS公司内部管理系统
  17. 【C++】迭代器、反向迭代器详解
  18. 直接在服务器上跑系统,在服务器上跑代码
  19. 服务器 虚拟机版本,VMWARE-版本比较各版本区别
  20. vue : 无法加载文件 C:\Users\Lenovo\AppData\Roaming\npm\vue.ps1。...无法在当前系统上运行该脚本。

热门文章

  1. CONCAT不是可以识别的内置函数名称。
  2. mysql使用命令行导入sql脚本 报错无法插入中文
  3. 2018-2-13-windows-10预览版升级win10-7月29-10240.16384
  4. IE 11 无法安全地连接到此页面
  5. java语言编译系统_请问C语言,JAVA之类的语言编译程序是属于 系统软件 还是 应用软件??...
  6. 常见的服务器虚拟化产品都有哪些,桌面虚拟化产品主要有哪几种主流技术分类呢?...
  7. 2023届计算机保研面试基础专业问题(数据结构、算法、计算机语言、计算机网络、数据库、操作系统、数学)
  8. redhat安装wine教程_超简单制作多合一系统安装启动U盘的工具
  9. linux洪水攻击路由器,(20)Linux下ICMP洪水攻击实例
  10. 安卓桌面html便签,手机桌面便签