(三)设置Jenkins为MLOps构建CI/CD管道
目录
Jenkins简介
安装Jenkins插件
配置电子邮件通知
在Jenkins中设置GCP凭据
下一步
在这里,我们配置Jenkins以帮助我们将Docker容器链接到一个实际的管道中,容器将在其中以正确的顺序自动构建、推送和运行。
在之前的系列文章中,我们解释了如何编写要在我们的Docker容器组中执行的脚本作为 CI/CD MLOps管道的一部分。在本系列中,我们将设置一个Google Kubernetes Engine( GKE )集群来部署这些容器。
本系列文章假设您熟悉深度学习、DevOps、Jenkins和Kubernetes基础知识。
在上一篇文章中,我们配置了GKE并准备了所有组件以开始我们的管道部署。在本文中,我们将使用Jenkins设置流程编排。
Jenkins简介
Jenkins是一个开源服务器,可实现软件开发周期的构建、测试和部署阶段的自动化。它允许您根据给定存储库中自动检测到的代码提交来触发操作。
要在您的环境中安装Jenkins,请按照官方文档中提供的说明进行操作。我们将在本地Ubuntu机器上运行Jenkins,并将从那里运行我们所有的构建、测试和部署管道。
在深入研究之前,需要解释几个术语:
- Jenkins的工作流程是一组可运行的任务。
- Jenkins管道是可运行组作业或后面执行的特定顺序的工作流程。我们将使用以Groovy 语言编码的脚本化工作流。
安装Jenkins插件
下图显示了我们在项目流程中的位置。
是时候打开Jenkins并开始设置了。让我们安装Docker Pipeline、Docker Plugin、docker-build-step、Google Container Registry Auth Plugin、Google Kubernetes Engine Plugin、Google OAuth Credentials plugin和Git。
要访问Jenkins界面,请在浏览器中输入http://localhost:8080(或http://127.0.0.1:8000),登录Jenkins仪表板,然后选择左侧的Manage Jenkins选项。
选择管理插件。
在可用选项卡中,搜索所需的插件。
找到插件后,选中其复选框,然后单击Install without restart。
安装开始。安装程序会在该过程结束时通知您。
对所有必需的插件重复上述步骤。
配置电子邮件通知
让我们配置电子邮件通知插件以确保您收到有关管道操作的电子邮件。
在Jenkins仪表板上,选择Manage Jenkins > Configure System > Extended E-mail Notification。选择高级选项,填写必填字段,然后点击应用。
在Jenkins中设置GCP凭据
现在我们需要允许Jenkins使用您的GCP资源。
首先,您需要一个GCP服务帐户。要获取它,请登录Google Cloud Platform,选择您的项目,然后转到IAM & Services > Service Accounts。
单击创建服务帐户。
为您的新服务帐户命名,然后点击创建。
添加以下访问角色,然后点击Done。
在列表中选择您的服务帐户,然后单击密钥选项卡。
选择添加密钥 > 创建新密钥。
选择JSON格式并单击创建以下载您的密钥。
在 Jenkins 仪表板上,选择管理 Jenkins > 管理凭据。
在底部,选择Jenkins > 全局凭证 > 添加凭证。
从Kind下拉列表中,选择Google Service Account from private key,为项目命名(我们推荐“AutomaticTrainingCICD”),上传您获得的JSON文件,然后单击OK。
下一步
现在我们都准备好构建Jenkins工作流了。我们将在下一篇文章中构建它们。
Setting Up Jenkins to Build CI/CD Pipelines for MLOps - CodeProject
(三)设置Jenkins为MLOps构建CI/CD管道相关推荐
- Bitbucket Pipes发布,带来30+自动化CI/CD管道的方法
CI/CD管道能帮助自动化应用程序的构建,测试和部署,基本上充当了运维和开发团队之间的桥梁,因此构建CI/CD管道是DevOps团队中的一大重点工作.构建CI/CD管道听起来很简单,但打通工具链接和编 ...
- 使用 Kubernetes 和滴滴云 Docker 仓库构建 CI/CD 流水线
写在前面:<Kubernetes Tutorials> 系列文章旨在帮助您从入门到高阶逐步了解并掌握kubernetes技术栈的实操.理论和最佳实践.主题将包括 Docker 基础与实操. ...
- 从零到一构建CI/CD的DevOps自动化流水线,需要考虑的开源项目
构建CI/CD的DevOps自动化流水线的步骤 1.DevOps 和 CI/CD 流水线的简要介绍 2 构建CI/CD流水线需考虑的步骤 第一步:CI/CD 框架 第二步:源代码控制管理 第三步:自动 ...
- 【 云原生 | kubernetes 】- tekton构建CI/CD流水线(二)
上一节我们是通过创建Pipelinerun来触发流水线来进行构建,实际生产中完全自动化的实现需要借助tekton中的triggers.本文是上篇的拓展请先了解这篇文章 Tekton Trigger ...
- qa/qc_专业QA如何实施可靠的CI / CD管道?
qa/qc 过时的传统软件开发方法并不能接管不断升级的市场趋势,并且这些方法缺乏解决方案,无法解决引入" 持续集成(CI)和持续交付(CD) "的快速软件发布需求的增长. 除了CI ...
- apigee 安装_APIGEE:用于API代理的CI / CD管道
apigee 安装 在本文中,我们将看到如何为APIGEE API代理创建CI / CD管道. 我已经参考了APIGEE社区上同一主题的几篇文章. 这些给了一些关于如何为API代理设置CI / CD管 ...
- 专业QA如何实施可靠的CI / CD管道?
过时的传统软件开发方法并不能接管不断升级的市场趋势,并且这些方法缺乏解决方案,这些解决方案无法满足引入" 持续集成(CI)和持续交付(CD) "的快速软件发布的日益增长的需求. 除 ...
- APIGEE:用于API代理的CI / CD管道
在本文中,我们将看到如何为APIGEE API代理创建CI / CD管道. 我已经参考了APIGEE社区上同一主题的几篇文章. 这些给了一些关于如何为API代理设置CI / CD管道的想法. 这是我用 ...
- Kubernetes 的 CI/CD 管道概述
An Overview of CI/CD Pipelines With Kubernetes Take a look at CI/CD approaches in a Kubernetes ecosy ...
最新文章
- Tomcat怎样将配置文件放在外部
- Nature子刊:利用闭环脑机接口缓解疼痛感
- re_path 的 ?P
- 判断一个单链表中是否有环
- C++中各种智能指针的实现及弊端(四)
- [JavaWeb基础] 015.Struts2 表单验证框架
- mysql递归查询树,帮你突破瓶颈
- sts4linux,STS3下载和安装,STS4升级
- 基于AD603的AGC电路
- 网络连接正常,浏览器确没有网?
- 【Java】奇偶数判断
- 深度学习中的图像增强
- 动手学习深度学习——2.3 线性代数
- Java工程师必备软件大合集,手把手教你如何下载和安装
- 内网渗透---ms14068
- 四维图新总经理孙玉国谈导航
- 将一个实体类复制到另一个实体类
- 营销老炮儿征战史:重视终端
- Ubuntu18.04安装opencv和opencv_contrib
- linux编译mt7601,WDMyCloud编译USB网卡MT7601U驱动(小米,小度,360WiFi)
热门文章
- 18 ubuntu 远程原生_CNCF公布中国云原生调查报告:49%使用容器技术,Kubernetes 应用率达 72%...
- linux上derby数据库,体验纯Java数据库——Derby
- docker kali安装mysql_Linux环境使用Docker安装MySql
- python实现knn分类_knn分类算法底层实现(python)
- 生物科技PSD分层海报模板|细胞光效微观,满满渗透感
- 抓住眼球的美食海报模板|总有设计技法,吸引住你
- 电商活动难么多,不怕一个电商素材网站解救你,赶紧收藏
- js 设置password placeholder样式_150+ 个优质的 Node.js 包和资源
- C++ HOOK 详解
- 介绍Calico eBPF数据平面:Linux内核网络、安全性和跟踪(Kubernetes、kube-proxy)