Git存储库

谷歌云平台

Docker

下一步

下载源 - 1.2 MB

在本系列文章中，我们将引导您完成将CI/CD应用于AI任务的过程。您最终会得到满足Google MLOps 成熟度模型2级要求的功能管道。我们假设您对Python、Deep Learning、Docker、DevOps和Flask有一定的了解。

在上一篇文章中，我们简要介绍了机器学习(ML)背景下的CI/CD。在本节中，我们将为ML管道设置环境。

Git存储库

该项目将包括六个强制性信息库——数据集，DataCommit，CodeCommit，单元测试，PredictionAPI，部署——以及一个“额外的”，接口。它们显示在下图中的红色框中。

该数据集存储库包含了用于火车或更新型号的预处理的数据集（S）。每当管道检测到此存储库中的更改时，它将触发持续训练步骤。
该DataCommit库包含允许管道触发代码连续训练，每当新的数据推。
该CodeCommit库包含从无到有训练模型，支持代码的持续集成。
该单元测试库包含使管道以验证模型是在测试注册表中可用的代码，然后对它运行测试。
该PredictionAPI库包含这是负责运行预测服务本身的代码。它加载生产注册表中可用的模型并通过API公开它。
在部署存储库包含副本从测试注册表生产注册表模型（一旦模型已经成功通过测试），然后逐渐加载新的模式来预测API实例零停机时间的代码。
该接口库包含一个非常基本的Flask的Web界面，使用API通信，以支持预测的请求。

要访问上述存储库，请在您的计算机上创建一个项目文件夹，从该文件夹打开一个终端窗口，然后运行：

git clone https://github.com/sergiovirahonda/AutomaticTraining-Dataset.git
git clone https://github.com/sergiovirahonda/AutomaticTraining-DataCommit.git
git clone https://github.com/sergiovirahonda/AutomaticTraining-CodeCommit.git
git clone https://github.com/sergiovirahonda/AutomaticTraining-UnitTesting.git
git clone https://github.com/sergiovirahonda/AutomaticTraining-PredictionAPI.git
git clone https://github.com/sergiovirahonda/AutomaticTraining-Deployment.git
git clone https://github.com/sergiovirahonda/AutomaticTraining-Interface.git

谷歌云平台

注意：您可以使用Google以外的云提供商。在这种情况下，您需要遵循该提供商的程序。

对于Google云平台(GCP)：

创建一个Google Cloud Platform 帐户。
在Google Cloud Platform上选择或创建一个项目。我们创建了一个新项目并将其命名为“AutomaticTrainingCICD”。尝试执行相同操作，然后在完成本教程后删除整个项目以避免产生费用。
检查计费是否已启用。
启用Google Kubernetes Engine、Compute Engine和Container Registry API。
安装并初始化Google Cloud SDK——允许您与GCP服务交互的终端包。
在GCS上创建将用作我们的模型注册表的存储桶：

gsutil mb -l us-central1 gs://automatictrainingcicd-aiplatform

Docker

要在本地机器上安装Docker，请按照本指南中的说明进行操作。

下一步

我们的环境现在已为ML管道做好准备。是时候进入实际代码了。在下一篇文章中，我们将实现自动训练。敬请关注！

https://www.codeproject.com/Articles/5301645/Setting-Up-GitHub-Docker-and-Google-Cloud-Platform

（二）为自动化MLOps设置GitHub、Docker和Google Cloud Platform相关推荐

【原创】使用Docker试用OceanBase Cloud Platform(OCP)
本文基于CentOS 8 的docker来安装OceanBase Cloud Platform. 在安装之前需要准备好OceanBase数据库. 安装docker 使用root运行如下命令,安装doc ...
Google Cloud Platform 学习笔记（二）
1.谷歌云不同存储方式分析: 谷歌云提出了多区域存储.区域存储.nearline.coldline存储方式,不同存储方式价格策略不同,适宜数据也不相同,下图是一个汇总: 多区域存储多区域存储适用于存 ...
gcr.io 国内源 —— 基于 Travis CI + GitHub + DockerHub + Google Cloud 实现自动定时同步 gcr.io 镜像到 DockerHub
一.背景介绍由于国内网络原因,gcr.io 仓库里的镜像是无法直接拉取到的,这给开发工作造成了极大的不便本文介绍一种方法能够实现自动化地定期地将 gcr.io 仓库中的镜像同步到个人 Docker ...
docker部署flask_使用Docker，GCP Cloud Run和Flask部署Scikit-Learn NLP模型
docker部署flask A brief guide to building an app to serve a natural language processing model, contain ...
(五)自动化MLOps部署到Kubernetes
目录开发Python脚本运行脚本结论在这里,我们为我们的CI/CD MLOps管道开发了一个半自动化的生产部署. 在之前的系列文章中,我们解释了如何编写要在我们的Docker容器组中执行的脚本 ...
glassfish启动后不能进入部署页面_Flink on Yarn三部曲之二：部署和设置
欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...
Docker selenium自动化 - 使用python操作docker，python运行、启用、停用和查询容器实例演示
Docker selenium 自动化 - 使用 Python 操作 docker 运行.启用.停用和查询容器实例演示第一章:Python 操作 docker ① python 运行 docker ...
python设置二维列表_Python设置为列表
python设置二维列表 Python设置为列表 (Python Set to List) Sometimes we have to create a list from the set object ...
使用python开发二维码识别功能、Docker镜像安装opencv-contrib-python、
使用python开发二维码识别功能.Docker镜像安装opencv-contrib-python. 背景开发二维码识别功能,使用到开源三方库opencv-contrib-python. 在使用do ...

（二）为自动化MLOps设置GitHub、Docker和Google Cloud Platform

Git存储库

谷歌云平台

Docker

下一步

（二）为自动化MLOps设置GitHub、Docker和Google Cloud Platform相关推荐

最新文章

热门文章