基于Kubernetes的CI/CDPipeline流水线解决方案
Pipeline 介绍
要实现在 Jenkins 中的构建工作,可以有多种方式,我们这里采用比较常用的 Pipeline 这种方式。Pipeline,简单来说,就是一套运行在 Jenkins 上的工作流框架,将原来独立运行于单个或者多个节点的任务连接起来,实现单个任务难以完成的复杂流程编排和可视化的工作。
总体架构
在开始我们的工作之前,让我们花一点时间分析开始使用Jenkins使用Kubernetes容器所需的工作流。Kubernetes对于开发者来说是一个惊人的开源容器编排引擎。Kubernetes是由Google发起的,这使Kubernetes在使用多个开源容器项目方面有一个惊人的优势。默认情况下,Docker更受Kubernetes的使用者支持和青睐。使用Docker容器的工作流程如下图所示:
k8s Jenkins构建持续集成流程
Docker技术这些应用场景
参考文档:https://blog.csdn.net/xiegh2014/article/details/80456486
部署准备
```
gogs代码管理
git服务器安装参考:https://blog.csdn.net/xiegh2014/article/details/81434421
Harbor镜像管理
持久化存储
NFS安装
1、使用yum源安装
yum -y install nfs-utils -y
vim /etc/exports
/data/qas *(rw,no_root_squash)
2、启动nfs服务
开机启动
systemctl enable rpcbind.service
systemctl enable nfs-server.service
启动nfs服务
systemctl start rpcbind.service
systemctl start nfs-server.service
3、检查 NFS 服务器端是否有目录共享
showmount -e 192.168.58.110
GlusterFS集群安装参考文档:
```
安装步骤
```
创建namespace命名空间:
kubectl create namespace kube-jenkins
创建PVC对象:
kubectl create -f jenkins-pvc.yaml
创建rbac相关的资源对象:
kubectl create -f jenkins-rbac.yaml
创建Jenkins服务:
kubectl create -f jenkins.yaml
```
测试
```
node {
stage(' git仓库拉代码') { // for display purposes
sh "echo 'git checkout'"
}
stage('构建代码') {
sh "echo 'Build...'"
}
stage('自动化测试') {
sh "echo 'deploy...'"
}
stage('发布代码K8S') {
sh "echo 'deploy...'"
}
}
```
离线包下载
链接:https://share.weiyun.com/5pCfEWm 密码:kq3dwn
链接:https://share.weiyun.com/5pf0e0G 密码:pejdye
链接:https://share.weiyun.com/5m4ADMk 密码:x4uh4c
链接:https://share.weiyun.com/5FFbM3B 密码:y4fcff
openssl pkcs12 -export -out admin.pfx -inkey admin-key.pem -in admin.pem -certfile ca.pem
传统CICD存在的问题
Jenkins 安装完成了,接下来我们不用急着就去使用,我们要了解下在 Kubernetes 环境下面使用 Jenkins 有什么好处。
我们知道持续构建与发布是我们日常工作中必不可少的一个步骤,目前大多公司都采用 Jenkins 集群来搭建符合需求的 CI/CD 流程,然而传统的 Jenkins Slave 一主多从方式会存在一些痛点,比如:
- 主 Master 发生单点故障时,整个流程都不可用了
- 每个 Slave 的配置环境不一样,来完成不同语言的编译打包等操作,但是这些差异化的配置导致管理起来非常不方便,维护起来也是比较费劲
- 资源分配不均衡,有的 Slave 要运行的 job 出现排队等待,而有的 Slave 处于空闲状态
- 资源有浪费,每台 Slave 可能是物理机或者虚拟机,当 Slave 处于空闲状态时,也不会完全释放掉资源。
Pipeline&CICD优点
正因为上面的这些种种痛点,我们渴望一种更高效更可靠的方式来完成这个 CI/CD 流程,而 Docker 虚拟化容器技术能很好的解决这个痛点,又特别是在 Kubernetes 集群环境下面能够更好来解决上面的问题,下图是基于 Kubernetes 搭建 Jenkins 集群的简单示意图:
- 服务高可用,当 Jenkins Master 出现故障时,Kubernetes 会自动创建一个新的 Jenkins Master 容器,并且将 Volume 分配给新创建的容器,保证数据不丢失,从而达到集群服务高可用。
- 动态伸缩,合理使用资源,每次运行 Job 时,会自动创建一个 Jenkins Slave,Job 完成后,Slave 自动注销并删除容器,资源自动释放,而且 Kubernetes 会根据每个资源的使用情况,动态分配 Slave 到空闲的节点上创建,降低出现因某节点资源利用率高,还排队等待在该节点的情况。
- 扩展性好,当 Kubernetes 集群的资源严重不足而导致 Job 排队等待时,可以很容易的添加一个 Kubernetes Node 到集群中,从而实现扩展。
缺点
jnlp-slave pod 无法删除
如果 jnlp-slave pod创建失败,它会不断的尝试创建新的pod,并试图连接jenkins,一段时间后,就会创造很多失败的jnlp-slave pod。如果遇到这种情况,需 要尽早中断任务并删除失败的pod。(需要手动删除jnlp-slave pod)
GIT地址
https://github.com/xgh2016/k8s-CICD-Pipeline
基于Kubernetes的CI/CDPipeline流水线解决方案相关推荐
- Jenkins X:基于Kubernetes的CI/CD平台
背景 Jenkins自动化服务器一直都是DevOps工具链的重要组成部分,并且已发展成为开源持续集成和持续部署(CI&CD)软件的领导者.据不完全统计,截至2019年6月,已有将近26万的Je ...
- 基于 Kubernetes 实现 CI/CD 配置
基于 Kubernetes 实现 CI/CD 配置 一.基本介绍 二.基于 Kubernetes 实现 CI/CD 配置 1.配置 GitLab 2.配置 Jenkins 3.实现 CI/CD 配置 ...
- 如何基于Kubernetes构建完整的DevOps流水线
前言 关于DevOps是一个很大的话题,它可能既涉及到公司的技术文化构建,也包括开发者技术能力的支持,这次技术干货分享主要是侧重于技术方面,就是如何用Kubernetes来服务好DevOps的流水线. ...
- 如何基于 Kubernetes 构建完整的 DevOps 流水线
前言 关于 DevOps 是一个很大的话题,它可能既涉及到公司的技术文化构建,也包括开发者技术能力的支持,这次技术干货分享主要是侧重于技术方面,就是如何用 Kubernetes 来服务好 DevOps ...
- 龙腾出行基于Kubernetes的DevOps流水线实战
伴随着微服务架构的普及,龙腾内部很多业务线从单体架构转向微服务架构,在根据业务边界进行拆分时,带来的服务实例数目成倍数增长,这给开发.运维.测试增加了不少复杂度和工作量,此时我们利用Kubernete ...
- 使用 Kubernetes 和滴滴云 Docker 仓库构建 CI/CD 流水线
写在前面:<Kubernetes Tutorials> 系列文章旨在帮助您从入门到高阶逐步了解并掌握kubernetes技术栈的实操.理论和最佳实践.主题将包括 Docker 基础与实操. ...
- PPmoney基于Kubernetes的DevOps实践
在微服务带来便利的同时产生了新的挑战,如何对所有微服务进行快速部署?本文将介绍PPmoney如何践行推广容器化,建立应用从开发测试到部署的DevOps流程,提高团队工作效率. 云平台介绍 先给大家看看 ...
- 基于Kubernetes的服务网格介绍
在Kubernetes和微服务之间,服务网格提供了重要的一层. Kubernetes已经解决了容器编排的问题,对于云原生生态圈来说,剩下的问题是如何使微服务的交付更有效和更有弹性.这个问题可以通过服务 ...
- DevOps系列文章-Kubernetes实现CI与CD配置
Kubernetes实现CI与CD配置 一.基本介绍 基于 Kubernetes 实现 CI/CD 配置,其实和往常那些 CI/CD 配置并没有太大区别.都是通过 提交代码,拉取代码,构建代码,发布代 ...
最新文章
- 证书重复冲突问题:Command /usr/bin/codesign failed with exit code 1
- 通过DataTable导出Excel
- java中产生死锁的原因及如何避免
- Crystal Reports Maximum Report Processing Jobs Limit
- 研0必读!李航《统计学习方法》啃书指南
- go语言设计初衷和优势
- Java网络通信 TCP网络,ServerSocket类
- 【UVA140】Bandwidth(最优性剪枝+全排列+思路)
- matlab阶乘函数、排列组合函数、数组求和、未定义变量带入计算,简化结果值
- FPGA模拟PS/2键盘
- robotium和appium的一些区别(转)
- CODEVS 3977 炉石传说——圣骑士的逆袭
- ALS模拟环境光传感芯片的工作原理
- 微信二维码线下推广是否有效
- 【SLAM学习笔记4】卡方检验chi-square
- 什么是SSH 以及常见的ssh 功能
- 面试被问到【期望薪资】,怎样回答最合适?
- 个人对于po、bo、vo的理解
- 任何没有行动的爱,顶多算是喜欢
- Python 打包EXE,最小可用大小
热门文章
- vertical-align使用规则
- 分治算法:芯片检测问题
- 解决SSH连接linux中文显示乱码问题
- 卷积神经网络之AlexNet(一)
- 最低俗的中国人”:小沈阳语录
- 50款国外后期草地素材g
- 详解I/O多路转接之select
- Delphi提示‘error loading MIDAS.DLL’的原因及解决方案
- 哪些配音软件比较好用?能推荐几个吗?
- 魅族16php7.3系统,魅族16plus升级包|魅族16th plus手机刷机包下载 Flyme 7.1.3.1A 公开版 - 比克尔下载...