基于Jenkins和k8s构建企业级DevOps容器云平台

1.1 什么是DevOps？

DevOps中的Dev是Devlopment（开发），Ops是Operation（运维），用一句话来说 DevOps 就是打通开发运维的壁垒，实现开发运维一体化。DevOps整个流程包括敏捷开发->持续集成->持续交付->持续部署。

1.1.1 敏捷开发

提高开发效率，及时跟进用户需求，缩短开发周期。

敏捷开发包括编写代码和构建代码两个阶段，可以使用git或者svn来管理代码，用maven对代码进行构建

1.1.2 持续集成（CI）

持续集成强调开发人员提交了新代码之后，立刻自动的进行构建、（单元）测试。根据测试结果，我们可以确定新代码和原有代码能否正确地集成在一起。持续集成过程中很重视自动化测试验证结果，对可能出现的一些问题进行预警，以保障最终合并的代码没有问题。

常见的持续集成工具：

1. Jenkins

Jenkins是用Java语言编写的，是目前使用最多和最受欢迎的持续集成工具，使用Jenkins，可以自动监测到git或者svn存储库代码的更新，基于最新的代码进行构建，把构建好的源码或者镜像发布到生产环境。Jenkins还有个非常好的功能：它可以在多台机器上进行分布式地构建和负载测试

2. TeamCity

3. Travis CI

4. GoCD

5. Bamboo

6. GitLab CI

7. Codeship

它的好处主要有以下几点：

1）较早的发现错误：每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，哪个环节出现问题都可以较早的发现。

2）快速的发现错误：每完成一部分代码的更新，就会把代码集成到主干中，这样就可以快速的发现错误，比较容易的定位错误。

3）提升团队绩效：持续集成中代码更新速度快，能及时发现小问题并进行修改，使团队能创造出更好的产品。

4）防止分支过多的偏离主干：经常持续集成，会使分支代码经常向主干更新，当单元测试失败或者出现bug，如果开发者需要在没有调试的情况下恢复仓库的代码到没有bug的状态，只有很小部分的代码会丢失。

持续集成的目的是提高代码质量，让产品快速的更新迭代。它的核心措施是，代码集成到主干之前，必须通过自动化测试。只要有一个测试用例失败，就不能集成。

Martin Fowler说过，"持续集成并不能消除Bug，而是让它们非常容易发现和改正。"

互动：Martin Fowler是谁？

马丁·福勒

马丁·福勒是一个软件开发方面的著作者和国际知名演说家，专注于面向对象分析与设计，统一建模语言，领域建模，以及敏捷软件开发方法，包括极限编程。

与持续集成相关的还有持续交付和持续部署。

1.1.3 持续交付

持续交付在持续集成的基础上，将集成后的代码部署到更贴近真实运行环境的「类生产环境」（production-like environments）中。交付给质量团队或者用户，以供评审。如果评审通过，代码就进入生产阶段。如果所有的代码完成之后一起交付，会导致很多问题爆发出来，解决起来很麻烦，所以持续集成，也就是每更新一次代码，都向下交付一次，这样可以及时发现问题，及时解决，防止问题大量堆积。

1.1.4 持续部署

持续部署是指当交付的代码通过评审之后，自动部署到生产环境中。持续部署是持续交付的最高阶段。Puppet，SaltStack和Ansible是这个阶段使用的流行工具。容器化工具在部署阶段也发挥着重要作用。Docker和k8s是流行的工具，有助于在开发，测试和生产环境中实现一致性。除此之外，k8s还可以实现自动扩容缩容等功能。

1.2 k8s在DevOps中可实现的功能

1.2.1 自动化

敏捷开发->持续集成->持续交付->持续部署。

1.2.2 多集群管理

可以根据客户需求对开发，测试，生产环境部署多套kubernetes集群，每个环境使用独立的物理资源，相互之间避免影响。

1.2.3 多环境一致性

Kubernetes是基于docker的容器编排工具，因为容器的镜像是不可变的，所以镜像把OS、业务代码、运行环境、程序库、目录结构都包含在内，镜像保存在我们的私有仓库，只要用户从我们提供的私有仓库拉取镜像，就能保证环境的一致性。

1.2.4 实时反馈和智能化报表

每次集成或交付，都会第一时间将结果通过多途径的方式反馈给你，也可以定制适合企业专用的报表平台。

1.3 Jenkins+K8S+harbor+git+sonarqube+nexus构建DevOps容器云平台流程

Jenkins是开源的CI&CD工具，提供超过1000个插件来支持构建、部署、自动化，满足任何项目的需要。完整的DevOps流程：

开发提交代码到代码仓库gitlab-àjenkins检测到代码更新-à调用k8s api在k8s中创建jenkins slave pod：

d拉取代码---à通过maven把拉取的代码进行构建成war包或者jar包--->上传代码到Sonarqube，进行静态代码扫描- -->基于war包构建docker image-->把镜像上传到harbor镜像仓库-->基于镜像部署应用到开发环境-->部署应用到测试环境--->部署应用到生产环境。

实战1：基于Jenkins+k8s+Git等技术链构建企业级DevOps自动化容器云平台
1、安装Jenkins
可用如下两种方法
1）通过docker直接下载jenkins镜像，基于镜像启动服务
2）在k8s中部署Jenkins服务
2、安装nfs服务
#选择自己的任意一台机器，我选择k8s的控制节点master1
1）、在master1上安装nfs，作为服务端
[root@master1 ~]# yum install nfs-utils -y
[root@master1 ~]# systemctl start nfs
[root@master1 ~]# systemctl enable nfs
2）、在node2和node1上安装nfs，作为客户端
yum install nfs-utils -y
systemctl start nfs
systemctl enable nfs
3）、在master1上创建一个nfs共享目录
[root@master1 ~]# mkdir /data/v1  -p
[root@master1 ~]# cat /etc/exports
/data/v1       192.168.40.0/24(rw,no_root_squash)
#使配置文件生效
[root@master1 ~]# exportfs -arv
[root@master1 ~]# systemctl restart nfs
3、在kubernetes中部署jenkins
（1）创建名称空间
[root@master1 ~]# kubectl create namespace jenkins-k8s
（2）创建pv
[root@master1 ~]# cat pv.yaml
#跟新资源清单文件
[root@master1 ~]# kubectl apply -f pv.yaml
（3）创建pvc
[root@master1 ~]# cat pvc.yaml
#更新资源清单文件
[root@master1 ~]# kubectl apply -f pvc.yaml
#查看pvc和pv绑定是否成功
[root@master1 ~]# kubectl get pvc -n jenkins-k8s
NAME      STATUS   VOLUME      CAPACITY   ACCESS MODES   STORAGECLASS
jenkins-k8s-pvc   Bound    jenkins-k8s-pv   10Gi       RWX
（4）创建一个sa账号
[root@master1 ~]# kubectl create sa jenkins-k8s-sa -n jenkins-k8s
（5）把上面的sa账号做rbac授权
[root@master1 ~]# kubectl create clusterrolebinding jenkins-k8s-sa-cluster -n jenkins-k8s  --clusterrole=cluster-admin --serviceaccount=jenkins-k8s:jenkins-k8s-sa
（6）通过deployment部署jenkins
注：下面实验用到的镜像是jenkins.tar.gz和jenkins-jnlp.tar.gz，把这两个压缩包上传到k8s的node1和node2节点，用如下方法手动解压：
docker load -i jenkins.tar.gz
docker load -i jenkins-jnlp.tar.gz
[root@master1 ~]# cat jenkins-deployment.yaml
#更新资源清单文件
kubectl apply -f jenkins-deployment.yaml
[root@master1 ~]# kubectl get pods -n jenkins-k8s
NAME                       READY   STATUS             RESTARTS   AGE
jenkins-74b4c59549-qvmrt   0/1     CrashLoopBackOff   1          15s
#上面可以看到CrashLoopBackOff，解决方法如下：
#查看jenkins-74b4c59549-qvmrt日志
[root@master1 ~]# kubectl logs jenkins-74b4c59549-qvmrt -n jenkins-k8s
touch: cannot touch '/var/jenkins_home/copy_reference_file.log': Permission denied
#上面问题是因为/data/v1目录权限问题，按如下方法解决：
[root@master1 ~]# chown -R 1000.1000 /data/v1/
[root@master1 ~]# kubectl delete -f jenkins-deployment.yaml
[root@master1 ~]# kubectl apply -f jenkins-deployment.yaml
[root@master1 ~]# kubectl get pods -n jenkins-k8s
NAME                       READY   STATUS    RESTARTS   AGE
jenkins-74b4c59549-gp95l   1/1     Running   0          16s
（7）把jenkins前端加上service，提供外部网络访问
[root@master1 ~]# cat jenkins-service.yaml
#更新资源清单文件
[root@master1 ~]# kubectl apply -f jenkins-service.yaml
[root@master1 ~]# kubectl get svc -n jenkins-k8s
NAME              TYPE       CLUSTER-IP     EXTERNAL-IP   PORT(S)
jenkins-service   NodePort   10.110.34.67   <none>        8080:30002/TCP,50000:32331/TCP
4、配置Jenkins
在浏览器访问jenkins的web界面：
http://192.168.40.130:30002/login?from=%2F

1）获取管理员密码
在nfs服务端，也就是我们的master1节点获取密码：
[root@master1 ~]# cat  /data/v1/jenkins-home/secrets/initialAdminPassword
f9b0b4400c4a4d6eaec6762616db6d63
把获取到的密码拷贝到上面管理员密码下的方框里
点击继续，出现如下界面

2）安装插件

安装推荐的插件

插件安装好之后显示如下

3）创建第一个管理员用户

用户名和密码都设置成admin，线上环境需要设置成复杂的密码

修改好之后点击保存并完成，出现如下界面

点击保存并完成，出现如下界面

点击开始使用Jenkins

5、测试jenkins的CI/CD

#在Jenkins中安装kubernetes插件

（1）在jenkins中安装k8s插件

ManageJnekins------>插件管理------>可选插件------>搜索kubernetes------>出现如下

选中kubernetes之后------>点击下面的直接安装------>安装之后选择重新启动jenkins---> http://192.168.40.130:30002/restart-->重启之后登陆jenkins即可

#配置jenkins连接到我们存在的k8s集群

（1）访问http://192.168.40.130:30002/configureClouds/

新增一个云,在下拉菜单中选择kubernets并添加

（2）填写云kubernetes配置内容

kubernetes

https://192.168.40.130:6443

（3）测试jenkins和k8s是否可以通信

点击连接测试，如果显示Connection test successful或者显示Connected to Kubernetes 1.20

说明测试成功，Jenkins可以和k8s进行通信

配置k8s集群的时候jenkins地址需要写上面域名的形式，配置之后执行如下：

http://jenkins-service.jenkins-k8s.svc.cluster.local:8080

应用------>保存

（1）配置pod template

访问http://192.168.40.130:30002/configureClouds/

添加Pod模板------>KubernetesPod Template--->按如下配置

（2）在上面的podtemplate下添加容器

添加容器------>Container Template------>按如下配置------>

Docker镜像：使用jenkins-jnlp.tar.gz解压出来的镜像，把这个镜像上传到k8s的各node节点，手动解压：docker load -ijenkins-jnlp.tar.gz

解压出来的镜像是xianchao/jenkins-jnlp:v1

在每一个pod template右下脚都有一个Advanced，点击Advanced，出现如下

在ServiceAccount处输入jenkins-k8s-sa，这个sa就是我们最开始安装jenkins时的sa

（3）给上面的podtemplate添加卷

添加卷------>选择Host Path Volume

/var/run/docker.sock

/root/.kube

/home/jenkins/.kube

上面配置好之后，应用------>保存

#添加dockerhub凭据

注意：下面需要用到dockerhub存放镜像，大家如果没有dockerhub可以自己申请一个

首页------>系统管理----à管理凭据--à全局--à添加凭据

username：xianchao
password：1989*****
ID：dockerhub
描述：这个地方随便写
上面修改好之后选择确定即可#测试通过Jenkins发布代码到k8s开发环境、测试环境、生产环境
在k8s的控制节点创建名称空间：
[root@master1 ~]# kubectl create ns devlopment
namespace/devlopment created
[root@master1 ~]# kubectl create ns production
namespace/production created
[root@master1 ~]# kubectl create ns qatest
namespace/qatest created回到首页：
新建一个任务------>输入一个任务名称处输入jenkins-variable-test-deploy------>流水线------>确定------>在Pipeline script处输入如下内容
node('testhan') {stage('Clone') {echo "1.Clone Stage"git url: "https://github.com/luckylucky421/jenkins-sample.git"script {build_tag = sh(returnStdout: true, script: 'git rev-parse --short HEAD').trim()}}stage('Test') {echo "2.Test Stage"}stage('Build') {echo "3.Build Docker Image Stage"sh "docker build -t xianchao/jenkins-demo:${build_tag} ."}stage('Push') {echo "4.Push Docker Image Stage"withCredentials([usernamePassword(credentialsId: 'dockerhub', passwordVariable: 'dockerHubPassword', usernameVariable: 'dockerHubUser')]) {sh "docker login -u ${dockerHubUser} -p ${dockerHubPassword}"sh "docker push xianchao/jenkins-demo:${build_tag}"}}stage('Deploy to dev') {echo "5. Deploy DEV"sh "sed -i 's/<BUILD_TAG>/${build_tag}/' k8s-dev.yaml"sh "sed -i 's/<BRANCH_NAME>/${env.BRANCH_NAME}/' k8s-dev.yaml"
//        sh "bash running-devlopment.sh"sh "kubectl apply -f k8s-dev.yaml  --validate=false"}  stage('Promote to qa') {  def userInput = input(id: 'userInput',message: 'Promote to qa?',parameters: [[$class: 'ChoiceParameterDefinition',choices: "YES\nNO",name: 'Env']])echo "This is a deploy step to ${userInput}"if (userInput == "YES") {sh "sed -i 's/<BUILD_TAG>/${build_tag}/' k8s-qa.yaml"sh "sed -i 's/<BRANCH_NAME>/${env.BRANCH_NAME}/' k8s-qa.yaml"
//            sh "bash running-qa.sh"sh "kubectl apply -f k8s-qa.yaml --validate=false"sh "sleep 6"sh "kubectl get pods -n qatest"} else {//exit}}stage('Promote to pro') {  def userInput = input(id: 'userInput',message: 'Promote to pro?',parameters: [[$class: 'ChoiceParameterDefinition',choices: "YES\nNO",name: 'Env']])echo "This is a deploy step to ${userInput}"if (userInput == "YES") {sh "sed -i 's/<BUILD_TAG>/${build_tag}/' k8s-prod.yaml"sh "sed -i 's/<BRANCH_NAME>/${env.BRANCH_NAME}/' k8s-prod.yaml"
//            sh "bash running-production.sh"sh "cat k8s-prod.yaml"sh "kubectl apply -f k8s-prod.yaml --record --validate=false"}}
}应用------>保存------>立即构建
在左侧可以看到构建任务，如下所示：

点击Input request，部署应用到预生产环境

点击Input request，部署应用到生产环境

看到Finished：SUCCESS,，说明pipeline构建任务完成6、验证开发、预生产、生产环境部署的应用是否正常运行
[root@master1 ~]# kubectl get pods -n devlopment
NAME                            READY   STATUS    RESTARTS   AGE
jenkins-demo-784885d9c9-b4jkg   1/1     Running   0          6m18s
[root@master1 ~]# kubectl get pods -n qatest
NAME                            READY   STATUS    RESTARTS   AGE
jenkins-demo-784885d9c9-59tsm   1/1     Running   0          5m19s
[root@master1 ~]# kubectl get pods -n production
NAME                              READY   STATUS              RESTARTS   AGE
jenkins-demo-784885d9c9-42hz4   1/1       running             0          5m38s

实战2：Jenkins管理插件BlueOcean配置和使用
# BlueOcean是什么？
为了适应Jenkins Pipeline和 Freestyle jobs任务，Jenkins推出了BlueOcean UI，其目的就是让程序员执行任务时，降低工作流程的复杂度和提升工作流程的清晰度，它具有如下特征：
1、清晰的可视化：对CI/CD pipelines, 可以快速直观的观察项目pipeline状态。
2、pipeline可编辑：引导用户通过直观的、可视化的过程来创建Pipeline，从而使Pipeline的创建变得平易近人。
3、pipeline精确度：通过UI直接介入pipeline的中间问题。
#安装BlueOcean插件
主页—>系统管理插件管理可选插件—>过滤BlueOcean直接安装

安装完成后，重启jenkins
http://192.168.40.130:30002/restart

重启进入jenkins之后，在主页左侧可以看到打开Blue Ocean

实战3：Jenkins实现k8s应用按照指定版本回滚
回到首页：
新建一个任务------>输入一个任务名称处输入jenkins-variable-test-deploy-rollout------>流水线------>确定------>在Pipeline script处输入如下内容node('testhan') {stage('git clone') {git url: "https://github.com/luckylucky421/jenkins-rollout"sh "ls -al"sh "pwd"
}stage('select env') {def envInput = input(id: 'envInput',message: 'Choose a deploy environment',parameters: [[$class: 'ChoiceParameterDefinition',choices: "devlopment\nqatest\nproduction",name: 'Env']]
)
echo "This is a deploy step to ${envInput}"
sh "sed -i 's/<namespace>/${envInput}/' getVersion.sh"
sh "sed -i 's/<namespace>/${envInput}/' rollout.sh"
sh "bash getVersion.sh"
// env.WORKSPACE = pwd()
// def version = readFile "${env.WORKSPACE}/version.csv"
// println version
}stage('select version') {env.WORKSPACE = pwd()def version = readFile "${env.WORKSPACE}/version.csv"println versiondef userInput = input(id: 'userInput',message: '选择回滚版本',parameters: [[$class: 'ChoiceParameterDefinition',choices: "$version\n",name: 'Version']]
)sh "sed -i 's/<version>/${userInput}/' rollout.sh"
}stage('rollout deploy') {sh "bash rollout.sh"
}
}

点击应用->保存-立即构建

END

精彩文章推荐

从0开始轻松玩转k8s，助力企业实现智能化转型+世界500强实战项目汇总

Nginx如何限流？

使用 root 用户执行Docker、K8s命令？No!

GitLab 持续集成

使用k3s部署轻量Kubernetes集群快速教程

K8S 常见面试题总结

K8s 超详细总结！

两大容器管理平台，Kubernetes与OpenShift有什么区别？

从0开始轻松玩转k8s，助力企业实现智能化转型+世界500强实战项目汇总

容器运行时Containerd基础

Docker+k8s+DevOps+CKA+k8s故障排查训练营

技术交流

为了大家更快速的学习知识，掌握技术，随时沟通交流问题，特组建了技术交流群，大家在群里可以分享自己的技术栈，抛出日常问题，群里会有很多大佬及时解答的，这样我们就会结识很多志同道合的人，长按或者扫描下图二维码可加我微信，备注运维或者k8s或者devops即可进群，让我们共同的努力，向着美好的未来出发吧~~，想要免费获取linux、k8s、DevOps、Openstack、Openshift、运维、开发、测试、架构师、Python、Go、面试文档、容器、岗位内推等资料也可进群获取哈~~

微信： luckylucky421302

点击阅读原文 | 即刻学习

微信公众号

点亮，服务器10年不宕机

点击阅读原文即可了解更多信息