使用Zadig从0到1搭建持续交付平台
微信公众号：运维开发故事，作者：乔克
大家好，我是乔克，一个爱折腾的YAML工程师。
最近有朋友叫我出一个Zadig的使用教程，说实话，我并不知道该怎么来写，因为所有的东西在官网都有，我本人也是通过学习官网来进行落地实践的。
但是我这人太热情，压不住朋友的再三请求，所以就写一篇我在实际中用到的东西。
本篇文章大纲如下：
什么是Zadig
相信有不少朋友已经听过Zadig，但是有更多的朋友还没有听过，或者说听过但是没仔细去了解过，这里我还是简单介绍一下什么是Zadig。
Zadig是一个持续交付的平台，它集CI、CD、自动化测试于一身，致力于构建一个云原生开源的软件交付平台。
使用Zadig，可以轻松地实现本地联调、微服务并行构建、集成测试与持续部署，开发可以更专注于业务开发、运维也可以更专注于稳定性维护。
部署
说了那么多，下面就进入正题，开始Zadig的使用之旅。
安装
其实Zadig的安装参考官方文档的安装篇就行。但是为了保持文章的完整性，我这里简单介绍一下。
下面是我的环境说明：
Kubernetes：v1.18.8
Helm：v3.5.4
Linux：CentOS 7.9
PS：我这里是基于现有的Kubernetes，使用Helm进行安装部署。
安装MySQL
为什么要安装MySQL呢？
使用Zadig默认的安装方式，安装的MySQL是8.+版本，而且有时候死活起不来（踩过坑，没找到起不来的原因），所以我不论是在生产使用还是在测试环境测试都是自己安装的MySQL 5.7的版本，当然，你们需要根据自己的实际情况进行选择。
（1）添加MySQL的Helm repo
$ helm repo add stable https://charts.helm.sh/stable（2）下载MySQL chart包到本地（我个人习惯，随君选择）
$ helm pull stable/mysql --version 1.6.9（3）自定义value.yaml文件
mysqlUser: root@'%'
mysqlPassword: Joker@Zadig123
persistence:enabled: truestorageClass: "rbd"accessMode: ReadWriteOncesize: 50Gi
configurationFiles:mysql.cnf: |-[mysql]default-character-set=utf8[mysql.server]default-character-set=utf8[mysqld_safe]default-character-set=utf8[client]default-character-set=utf8[mysqld]character_set_server=utf8init_connect='SET NAMES utf8'max_connections=3000slow_query_log=ONslow_query_log_file=/tmp/mysql-slow.loglong_query_time=1sql_mode=NO_UNSIGNED_SUBTRACTION,NO_ENGINE_SUBSTITUTIONlower_case_table_names=1（4）安装MySQL
$ kubectl create ns zadig
$ helm install mysql -n zadig -f my-vaule.yaml .（5）安装完成过后查看MySQL安装情况
$ kubectl get all -n zadig | grep mysql
pod/mysql-6b64454fd9-nhlqd 2/2 Running 1 57d
service/mysql LoadBalancer 10.233.7.155 192.168.100.81 3306:32703/TCP,9104:32514/TCP 57d
deployment.apps/mysql 1/1 1 1 57d
replicaset.apps/mysql-6b64454fd9 1 1 1 57d安装Zadig
上面已经安装好了MySQL，下面就开始安装Zadig（其他的组件就用Zadig自带的，目前使用起来没发现任何问题）。
（1）添加Zadig Helm Chart
$ helm repo add koderover-chart https://koderover.tencentcloudcr.com/chartrepo/chart（2）下载Zadig Chart包 我这里先下载v1.11.0版本，因为后续还准备了一个升级的过程。
$ helm pull koderover-chart/zadig --version 1.11.0（3）自定义value.yaml文件，主要是修改mysql的配置
tags:mysql: false
connections:mysql:host: mysql:3306auth:user: rootpassword: Joker@Zadig123
dex:config:storage:type: mysqlconfig:host: mysqlport: 3306database: dexuser: rootpassword: Joker@Zadig123ssl:mode: "false"（4）安装Zadig 官方指出可以使用域名或者IP访问，我这里采用的是域名。
$ export NAMESPACE=zadig
$ export DOMAIN=zadig.jokerbai.com$ helm upgrade --install zadig . -f my-value.yaml --namespace ${NAMESPACE} --version=1.10.0 --set endpoint.FQDN=${DOMAIN} --set global.extensions.extAuth.extauthzServerRef.namespace=${NAMESPACE} --set "dex.config.staticClients[0].redirectURIs[0]=http://${DOMAIN}/api/v1/callback,dex.config.staticClients[0].id=zadig,dex.config.staticClients[0].name=zadig,dex.config.staticClients[0].secret=ZXhhbXBsZS1hcHAtc2VjcmV0"（5）查看安装情况
$ kubectl get pod -n zadig
NAME READY STATUS RESTARTS AGE
aslan-5d6b86ccdf-st7w9 2/2 Running 0 10d
config-7d6654fb8-xcfmk 1/1 Running 0 10d
cron-67f77f54bc-fvrgp 2/2 Running 0 10d
dind-0 1/1 Running 0 49d
discovery-68d76c5bf4-nrl5r 1/1 Running 0 57d
gateway-645958c96c-gnltp 1/1 Running 0 57d
gateway-proxy-5d6bcc677f-njvdk 1/1 Running 0 57d
gloo-7955b997b-br9m2 1/1 Running 0 57d
hub-server-7b5cc9bdb6-t6zkw 1/1 Running 0 10d
mysql-6b64454fd9-nhlqd 2/2 Running 1 57d
nsqlookup-0 1/1 Running 0 57d
nsqlookup-1 1/1 Running 0 57d
nsqlookup-2 1/1 Running 0 57d
opa-69d5c669f6-s784f 1/1 Running 0 57d
picket-55685b94d9-czm7b 1/1 Running 0 10d
podexec-868c677548-mks74 1/1 Running 0 10d
policy-5c5bd995c8-pfxnp 1/1 Running 0 10d
resource-server-c87c4cddd-ptq45 1/1 Running 0 10d
user-77b5585554-n2cm4 1/1 Running 0 10d
warpdrive-55c46595d5-hvkc2 2/2 Running 0 10d
warpdrive-55c46595d5-mn9d8 2/2 Running 0 10d
zadig-dex-d9df5944f-vgdkc 1/1 Running 0 10d
zadig-minio-5c576d44c8-rnkmp 1/1 Running 0 57d
zadig-mongodb-6dfb6f676f-9v5rq 1/1 Running 0 57d
zadig-portal-69d8f946b8-wqrpz 1/1 Running 0 10d然后可以根据域名http://zadig.jokerbai.com进行访问。
使用账号密码 admin:zadig 进行登录。
升级
Zadig是非常活跃的项目，社区迭代是非常快的，而且功能会越来越多，体验越来越好，所以升级Zadig算是一个日常需求了。
PS：虽然Zadig每个版本的兼容性做的不错，但是在升级的时候不建议跨版本升级。
（1）下载新版本的zadig
$ helm pull koderover-chart/zadig --version 1.12.0（2）自定义value.yaml 获取集群zadig配置信息
helm get values zadig -n zadig > zadig.yaml修改zadig.yaml，添加自定义mysql配置
USER-SUPPLIED VALUES:
tags:mysql: false
connections:mysql:host: mysql:3306auth:user: rootpassword: Joker@Zadig123
dex:config:storage:type: mysqlconfig:host: mysqlport: 3306database: dexuser: rootpassword: Joker@Zadig123ssl:mode: "false"staticClients:- id: zadigname: zadigredirectURIs:- http://zadig.jokerbai.com/api/v1/callbacksecret: ZXhhbXBsZS1hcHAtc2VjcmV0
endpoint:FQDN: zadig.ustax.tech
global:extensions:extAuth:extauthzServerRef:namespace: zadig（3）备份数据库
具体信息根据实际情况填写
1、备份mongo数据库
$ mongodump -h IP --port 端口 -u 用户名 -p 密码 -d 数据库 -o 文件存在路径2、备份mysql数据库
$ mysqldump -h <HOST> -P <PORT> -u root -p user > user.sql
$ mysqldump -h <HOST> -P <PORT> -u root -p dex > dex.sql（4）升级zadig
$ helm upgrade zadig -n zadig -f zadig.yaml .升级后，查看Pod是否正常启动，然后使用浏览器登录看是否正常。
系统集成
集成的功能很丰富，可以集成代码源、账号系统、Jenkins、Jira等，但是并不是所有的都有用，选择自己需要的集成就行。
我这里也不会把全部的集成都写一遍，那样没有意义，不如直接看官方文档。我只写我用到的系统：代码源和账号系统。
集成代码源
代码源的选择非常多，可以使用现成的saas平台，比如gitlab、gitee、github等，这些zadig都支持集成。由于我们公司是使用的自建的gitlab，所以这里只介绍gitlab的集成方法。
（1）创建OAuth。我这里创建的是组织类型的OAuth，也就是可以有全局的权限。
按图配置，如下：
填写应用的名称
回调地址请填写 http://[zadig.yours.com]/api/directory/codehosts/callback
赋予权限 api 、read_user 、read_repository
点击创建
创建完成之后，记住Application ID和Secret。
（2）在zadig上配置Gitlab集成填入如下信息：
代码源：此处选择 GitLab
代码源标识：自定义，方便在 Zadig 系统中快速识别出该代码源，该信息在整个系统内唯一
GitLab 服务 URL：GitLab 地址
Application ID：步骤 3 应用创建成功后返回的 Application ID
Secret：步骤 3 应用创建成功后返回的 Secret
待确认无误后，点击前往授权，会跳到Gitlab进行授权，点击Authorize即可。
到此，Gitlab集成完成。
集成账户系统
Zadig本身自带账户系统，但是在企业内部一般也会有自己的账户系统，比如LDAP，为了统一管理，这时候就需要集成这些账户系统。
我这里不是集成的LDAP，而是集成的Gitlab，所以这里只介绍Gitlab的集成方法。
（1）创建Gitlab OAuth填入如下信息：
填写应用的名称
回调地址请填写 http://[zadig.yours.com]/api/directory/codehosts/callback
赋予权限 read_user 、openid
点击创建
（2）在Zadig账户系统进行集成
Gitlab需要通过自定义的方式进行集成，相关配置需要通过YAML的方式进行自定义，如下：
baseURL: http://gitlab.jokerbai.com <Gitlab地址>
clientID: xxxxx <Gitlan OAuth的Applicaton ID>
clientSecret: xxxxx <Gitlab OAtuth的secret>
groups:- xxxx <Gitlab组>
redirectURI: http://zadig.jokerbai.com/dex/callback <Zadig回调地址>
useLoginAsID: false自定义账户系统使用Dex实现，所以Gitlab等自定义账户系统的集成，可以参考Dex的文档（https://dexidp.io/docs/connectors/gitlab/）
信息填写完成过后，点击保存。
（3）登录验证 退出当前账户，使用Gitlab账户进行登录。
选择第三方登录，如下：
然后会跳到Gitlab登录界面，填写用户名密码，如果在当前浏览器已经登录了Gitlab，则会直接跳转到授权界面，如下：
点击Authorize过后，会回跳到Zadig用户界面。不过当前用户只是登录到Zadig，并没有任何权限，需要管理授权才能进行其他操作。
到此集成系统已经完成。
模板库管理
Zadig提供模板管理，主要是YAML文件，Helm Chart，Dockerfile以及构建管理，这样提高了复用率，其他需要利用模板的使用直接导入即可。
我主要用到了Helm Chart和构建管理。
Helm Chart模板
Helm Chart的原始代码是保存在Gitlab的，所以在模板库这里只需要从Gitlab导入即可。
按如下方式导入需要的模板即可。
根据需要添加模板库，比如我这里添加的有java、前端、python、go、php等模板。
构建模板
构建模板就是应用构建镜像的模板，有多少种应用，只要能复用，都能做成模板。比如我这里就做了前端，java以及go的模板。
当然，我的并不代表你能用，只能做参考。
JAVA
我们java项目全都使用的gradle进行管理的，所以使用maven的就不适合我这套。高级配置，定义缓存。
前端
image.png
GO
image.png
是不是很简单？一切都那么简单。
Dockerfile示例
从上面可以看到，我们所有的构建里都有Dockerfile，所以都需要自己定制自己的Dockerfile，我这里只是抛几个示例，仅供参考。
JAVA
FROM registry.cn-huhehaote.aliyuncs.com/jokerbai/openjdk8-openj9:alpine-slimARG NAME=gateway
ARG VERSION=0.0.1ENV JVM_OPTS=""
ENV JVM_ARGS=""# 设定时区
ENV TZ=Asia/Shanghai
RUN echo 'http://mirrors.aliyun.com/alpine/v3.11/main' > /etc/apk/repositories; \echo 'http://mirrors.aliyun.com/alpine/v3.11/community' >>/etc/apk/repositories; \set -eux; \apk add --no-cache --update fontconfig ttf-dejavu; \apk add --no-cache --update tzdata; \ln -snf /usr/share/zoneinfo/$TZ /etc/localtime; \echo $TZ > /etc/timezone; \# 添加 Arthas Toolkit
COPY --from=registry.cn-huhehaote.aliyuncs.com/jokerbai/arthas:latest /opt/arthas /opt/arthas
# 添加 Skywalking Agent
COPY --from=registry.cn-huhehaote.aliyuncs.com/jokerbai/skywalking-agent-sidecar:8.1.0-es7 /usr/skywalking/agent /opt/skywalking/agentVOLUME ["/opt"]
# ADD ${NAME}-bootstrap/build/libs/${NAME}-bootstrap-${VERSION}.jar /opt/app.jar
ADD build/libs/${NAME}-${VERSION}-SNAPSHOT.jar /opt/app.jar
ENTRYPOINT ["sh", "-c", "java $JVM_OPTS $JVM_ARGS -jar /opt/app.jar"]EXPOSE 80GO
FROM golang:1.17.5 AS build-env
ENV GOPROXY https://goproxy.cn
ADD . /go/src/app
WORKDIR /go/src/app
RUN go mod tidy
RUN cd cmd && GOOS=linux GOARCH=amd64 go build -v -o /go/src/app/app-server /go/src/app/cmd/main.goFROM registry.cn-zhangjiakou.aliyuncs.com/jokerbai/ubuntu:22.04
ENV TZ=Asia/Shanghai
COPY --from=build-env /go/src/app/app-server /opt/app-server
WORKDIR /opt
EXPOSE 80
CMD [ "./app-server" ]前端
FROM nginx:alpine
ADD nginx.conf /etc/nginx/conf.d/default.conf
ADD dist/ /usr/share/nginx/htmlPS：我的不一定适合你，谨慎使用。
服务管理
该准备的都准备完了，下面就开始真正地创建应用、发布应用以及流水线等管理了。
（1）首先，需要我们创建项目，如下：
（2）新增服务点击服务--> 从模板库创建按着需要填写信息，需要自定义的value.yaml，可以到高级部分定制。
（3）添加构建 服务已经添加好了，下一步就是为服务添加构建了。
我们选择使用模板进行创建，然后关联到对应的服务和代码即可。
环境管理
服务准备好了，构建也添加了，下一步就该把服务部署到对应的环境了。
Zadig默认会创建DEV和QA环境，并且会生成对应的Namespace，如果是添加已有的Namespace，就需要自己新建环境了。
添加集群
云原生是趋势，而以Kubernetes为代表技术的使用也是非常多的。
我的应用就是部署在各种不同的Kubernetes集群中，所以首先我们要将自己需要的集群添加到Zadig上。
提示：Zadig所添加的集群要能访问到Zadig。换句话说，如果你Zadig部署在内网，集群在外网，集群访问Zadig无法访问，那你是添加不成功的。也期待Zadig开源社区能提供Agent和Kubeconfig多种集群接入方式。
选择集群->新建
点击保存过后，会生成对应的Agent接入方式。
复制上面的命令，到对应的集群上执行即可。
执行完成后，可以在Agent集群，看到对应的Pod是否正常。
$ kubectl get po -n koderover-agent
NAME READY STATUS RESTARTS AGE
dind-0 1/1 Running 0 23d
koderover-agent-node-agent-54dcb7456d-dz5r9 1/1 Running 0 10d
resource-server-695d6f9454-nqtbm 1/1 Running 0 10d待所有Pod都正常后，在Zadig上就能看到接入状态了，如下：
添加应用
环境已经准备好了，下面就来添加应用了。
找到对应的环境，选择添加服务。
选择需要添加的应用，可以同时选择多个，然后配置value。
配置完成过后，点击确定，就可以再环境中看到对应的应用了。
我这里应用为红色的那个就是刚加入的，因为镜像问题导致应用并没有起来。
其他功能
环境管理还有其他功能，比如说重启、查看日志、进入Pod等。
点击如图部分，就可以进行重启Pod操作。
如果需要进入Pod或者查看日志，就需要先点击对应的应用，进入之后，就可以看到对应的按钮了，如下：
流水线管理
上面添加了应用，但是应用没有起来，这就需要我们重新走流水线，让应用正常。
新建工作流
选择工作流，然后选择新建工作流。
填写工作流名称
指定环境，这样工作流就和环境绑定
是否选择并发运行看实际情况
然后点击保存即可。
运行流水线
工作流创建好了过后，接下来就可以直接运行了，不需要再额外的配置流水线步骤。
进入刚创建的工作流，选择执行，然后选择对应的应用，填写具体的信息，如下：
确定信息无误，就可以启动任务了。
可以看到工作流的步骤只有构建和部署，而且需要这两步骤都OK之后，整个工作流才算完成。
我们可以点击具体的服务看具体的构建信息，方便排错。
待两个步骤都完成，整个流水线也完成了。
而且可以进环境，看到具体的应用也OK了。
增加消息通知
有时候点击发布流水线过后，不会一直盯着发布过程，而是会转头去做别的事，比如摸鱼。
这时候就需要一个流水线消息通知，以便在发布成功或失败都能及时告知我们。
由于我们公司使用的钉钉作为平时工作交流的平台，所以我这里接入的是钉钉消息通知。
（1）首先创建钉钉机器人 这其实没什么好说的，需要注意的是在创建的时候需要制定“工作流”关键字，这样才能确保正常收到消息。然后找到工作流，进入其中并点击配置。
选择通知–>添加配置
根据需要进行配置，完成过后保存即可。
然后我们再进行构建的时候就能收到消息通知了。
代码扫描
上面持续交付基本完成，而且也足够用了。不过很多朋友在原有的CICD流程中都有加入代码扫描，Zadig也是集广大群众的爱好，在1.12.0版本中加入了代码扫描。
不过使用代码扫描，需要自己安装代码扫描工具Sonarqube。
我这里附一点简单的安装步骤。
安装Sonarqube
（1）添加Repo
$ helm repo add bitnami https://charts.bitnami.com/bitnami（2）下载sonarqube Helm Chart
$ helm pull bitnami/sonarqube（3）安装sonarqube，如果需要PG持久化的，更改value.yaml即可。
$ helm install sonarqube -n zadig .检查sonar是否安装成功。
$ kubectl get all -n zadig | grep sonar
pod/sonarqube-5c674b5db6-ndvk8 1/1 Running 0 8d
pod/sonarqube-postgresql-0 1/1 Running 0 10d
service/sonarqube ClusterIP 192.168.71.185 <none> 80/TCP,9001/TCP 10d
service/sonarqube-postgresql ClusterIP 192.168.142.35 <none> 5432/TCP 10d
service/sonarqube-postgresql-hl ClusterIP None <none> 5432/TCP 10d
deployment.apps/sonarqube 1/1 1 1 10d
replicaset.apps/sonarqube-5c674b5db6 1 1 1 10d
statefulset.apps/sonarqube-postgresql 1/1 10d集成sonarqube
（1）首先在sonarqube上创建Token
直接生成即可，不过要记住Token。
（2）在Zadig上集成
在Sonar集成栏目填写具体的sonar地址和刚才生成的Token，保存即可。
进行代码扫描
进入项目中，选择代码扫描，新增代码扫描。
新增代码和参数配置，如下：
然后点击执行，即可进行代码扫描。
扫描完成过后，就可以在sonarqube上查看扫描结果，进行代码质量管理。
最后
上面是我现在所使用的Zadig的所有功能，其中还有自动化测试是一个比较不错的功能，但是还需要测试同学配合才能完成最终的轮转，目前还没有这个精力来做这些事情，不过，我们的愿景是希望通过Zadig来完成开发、测试、运维闭环。
除此之外，Zadig还提供了一些能效面板，方便我们查看和审查。
参考
Zadig官方文档：https://docs.koderover.com/zadig
Dex官方文档：https://dexidp.io/docs/connectors/gitlab/
我是 乔克，《运维开发故事》公众号团队中的一员，一线运维农民工，云原生实践者，这里不仅有硬核的技术干货，还有我们对技术的思考和感悟，欢迎关注我们的公众号，期待和你一起成长！
使用Zadig从0到1搭建持续交付平台相关推荐
- SonarQube+Jenkins,搭建持续交付平台
原文:http://www.sonar.org.cn/use/2432.html 教程: https://blog.csdn.net/songer_xing/article/details/76691 ...
- 从0到1搭建大数据平台之数据计算
文章目录 前言 一.传统的数据计算 二.Hadoop的崛起 三.离线计算 MapReduce Hive SparkSQL 四. 实时计算 Spark Streaming Flink 总结 前言 大家好 ...
- 五个篇章讲明白如何从0到1搭建大数据平台
大家好,我是一哥,整理了一下之前写的搭建大数据平台的5个篇章,请大家收藏,文末可以获取完整PDF版本. 01 如何从0到1搭建大数据平台 大数据时代这个词被提出已有10年了吧,越来越多的企业已经完成了 ...
- 从0到1搭建大数据平台之数据存储
大家好,我是脚丫先生 (o^^o) 近日参加了集团大数据平台之流批一体的建设. 流批一体,从调研直至研发.日日夜夜,泪流满面. 作业以:sql.jar.组件拖拽三种方式去提交实时任务,终究还是攻克. ...
- 金融行业巨头 ING 如何搭建统一持续交付平台
ING 实现 DevOps 的背景 全球排名第11大的资产管理公司-----ING 荷兰国际集团(International Netherlands Groups),是由荷兰最大保险公司 (Nat ...
- 携程无线工程技术系列——从零打造携程无线持续交付平台 MCD 实践
作者简介:携程无线基础工程团队高级经理,负责无线交付平台和基础服务研发.十多年的互联网从业经验,曾供职于 eBay 等互联网公司,研发经验丰富. 导语:携程 App 几乎承载着整个集团的所有业务形态, ...
- 承担集团数万应用、研发人员日常工作，阿里持续交付平台的设计、迭代之道...
摘要: 阿里持续交付平台已经经历了 8 年的不断迭代进化,成长为集团几万应用所依赖的最重要的研发工具,它的效率直接影响着几万研发日常工作.但平台不能只是工具的堆砌,更需要针对互联网时代的研发模式进行深 ...
- 承担集团数万应用、研发人员日常工作，阿里持续交付平台的设计、迭代之道... 1
摘要: 阿里持续交付平台已经经历了 8 年的不断迭代进化,成长为集团几万应用所依赖的最重要的研发工具,它的效率直接影响着几万研发日常工作.但平台不能只是工具的堆砌,更需要针对互联网时代的研发模式进行深 ...
- TOP100summit 2017：【案例分享】魅族持续交付平台建设实践
本篇文章内容来自第10期魅族开放日魅族运维架构师林钟洪的现场分享. 编辑:Cynthia 一.自动化建设历程 1.1 魅族互联网发展的时间线 2003-2008年被称之为"互联网1.0时代& ...
最新文章
- golang标准库http服务器处理流程
- （转）SpringBoot系列—Redis使用
- mnn python例子
- VC++连接远程Oracle数据库
- linux sftp自动输入密码,使用autoexpect避免sftp输入密码
- Flex 流式布局 之 滚动条篇
- Java8 Stream详解~ 提取/组合
- 【AI视野·今日CV 计算机视觉论文速览 第218期】Fri, 11 Jun 2021
- qt 的mysql的库
- HardSoft-Viewer SQL
- SEO优化技术的简介
- 【转载】SQL中declare申明变量 declare @id int
- HDU1114 Piggy-Bank 完全背包
- 程序员的笔记本选择推荐
- java计算机毕业设计基于安卓Android/微信小程序的大学生签到管理系统APP
- Java利用HttpClient发送请求生成微信支付二维码、查询支付状态
- 城市道路十字路口的通行规则是“红灯停，绿灯行”，请用信号量和PV操作描述交通信号灯和汽车通过十字路口的同步行为
- mysql修改列明sql语句_sqlserver 修改列名及表名的sql语句
- 自编码器（Auto-encoder）的概念和应用
- java cst_Java中处理CST格式时间