一.前言

二.准备工作

1.注册Google drive（谷歌云盘）

Google Driver官网：https://drive.google.com/drive/

Colab官网：https://colab.research.google.com/

2.上传项目文件

3.安装Colaboratory

4.colab相关操作和命令

5.项目相关操作

三.异常处理

一.前言

本文介绍了在谷歌开放平台Google colab上租用免费GPU训练自己的模型，colab的使用类似于juputer notebook，不过colab基本不需要配置环境，提供了主流的深度学习框架，如pytorch、TensorFlow等，同时也提供了相对应的库如numpy，pandas，基本上可以做到直接使用，若对版本有所要求，可pip安装对应版本的库。

二.准备工作

1.注册Google drive（谷歌云盘）

因为整个流程是在Google的平台上进行的，所以科学上网必不可少。其次需要准备谷歌账号注册Google drive，需此作为自己项目的传输媒介。

Google Driver官网：https://drive.google.com/drive/

Colab官网：https://colab.research.google.com/

登录自己的谷歌账号注册谷歌云盘：

注册后，谷歌云盘自带15G容量的免费空间：

2.上传项目文件

点击左侧“新建”——“文件夹”——“demo”（例子），然后上传自己的项目文件，右击空白上传和从系统文件夹拖拽的方式均可，最好将项目文件压缩上传，由于网速原因，直接上传文件夹，里面的文件很大几率漏传，特别是数据集中的图片和标签漏传，想将其重新补传进去是一件很头疼的问题，本文以压缩包zip格式为例。

对其压缩包最好不要用谷歌云盘自带的解压工具，速度很慢。。。非常慢！

3.安装Colaboratory

“新建”——“更多”——“关联更多应用”，搜索“Colaboratory”，然后按照提示进行安装。过程中可能需要再次登录谷歌账号，乃至输入安全验证码，验证码一般为10位数字，可以登录谷歌邮箱在账户管理中查询到。

“新建”——“更多”——“Google Colaboratory”，创建文本。

4.colab相关操作和命令

接着进入colab后，便可以看到类似于jupyter的编程笔记本，不同的是colab自带配置好的环境，可将其左上方改为自己的所需名称，例如：“demo”。

点击上侧工具栏“代码执行程序”——“更改运行时类型”，及可以选择所需硬件“GPU/TPU”

然后就和jupyter notebook使用方法类似了，由于本文是介绍用GPU训练模型，可以首先输入以下命令查看GPU信息：

!nvidia-smi # 查看显卡信息

并shift+Enter执行操作命令：

紧接着我们需要挂载我们的Google drive 才能载入我们的项目文件，输入如下命令：

from google.colab import drive
drive.mount('/content/drive')

并运行，出现如下提示：

5.项目相关操作

若之前在云盘中上传的是项目压缩包，则需要以下命令对其压缩包进行解压：（tip：可点击左侧文件夹标志，出现文件夹可视化树状图，右击快速复制文件夹或文件所在路径）

!unzip -uq "/content/drive/MyDrive/demo/yolov5-master.zip" -d "/content/drive/MyDrive/demo"
# !unzip -uq "压缩包所在路径" -d "解压目标文件夹路径"

解压完成后，执行如下命令进入项目文件夹：

%cd /content/drive/MyDrive/demo/yolov5-master
# %cd 项目文件所在路径

注意这里是 % 不是 !

进入指定文件夹后出现类似如下结果：

如下命令可展示当前路径下所有文件夹及文件：

!ls # 展示当前路径文件列表

若该项目还需继续修改配置或参数，也可以直接双击左侧文件夹路径中文件进行修改，特别是项目中很多路径问题，建议上传项目前，已知路径均修改为项目的相对路径；若为完整可执行项目，我们就到了最后一步执行了：

!python train.py # !python 要执行的py文件

等待训练完成即可。

三.异常处理

在训练过程中可能会遇到很多情况，如很多训练中断问题，如：

colab运行到12小时,或者没有及时完成规定的人机认证都会断开连接，断开之后可执行如下命令继续训练：

!python train.py --resume

例如yolov5，可将其项目中train.py里的参数"--resume" 改为True，系统将最后一次训练得到的exp文件夹中的权重视还将继续训练，则会接着训练上次训练剩下的epoch。

parser.add_argument('--resume', nargs='?', const=True, default=True, help='resume most recent training')

使用F12或者Ctrl+Shift+I 可以进入浏览器终端，输入以下代码后Enter，将会间隔一段时间对浏览器做出响应操作。

function ClickConnect(){
console.log("Working");
document.querySelector("colab-toolbar-button#connect").click()
}
setInterval(ClickConnect,60000)

【colab】谷歌colab免费服务器训练自己的模型，本文以yolov5为例介绍流程相关推荐

使用谷歌Colab(Colaboratory)免费GPU训练自己的模型及谷歌网盘无限容量(Google drive)申请教程
使用谷歌Colab(Colaboratory)免费GPU训练自己的模型及谷歌网盘无限容量(Google drive)申请教程谷歌的colab(Colaboratory)是谷歌为全世界学术研究者免费提 ...
Xshell安装及连接服务器训练深度学习模型
Xshell安装及连接服务器训练深度学习模型 Xshell安装 Xshell连接服务器深度学习模型训练 Xshell安装参考文章: xshell下载. 安装过程之中遇到问题可以参考评论区内容,本人 ...
阿里云使用笔记（一）：从零开始配置阿里云GPU服务器训练深度学习模型
题神经网络训练需要强大的GPU支持,自己搭建成本太高,并且有时候出差等原因,无法将庞大的机箱搬走.因此,就产生了将深度学习网络训练的任务搬到云端的想法.由于初次使用,遇到不少大坑,花了两天时间才完整 ...
服务器上训练深度学习模型anaconda+cuda+cudnn+pycharm
这个最好: centos系统搭建深度学习环境_百度搜索 https://www.baidu.com/s?wd=centos%E7%B3%BB%E7%BB%9F%E6%90%AD%E5%BB%BA%E6 ...
【深度学习】谷歌云GPU服务器创建与使用指南（二）
接上一篇:[深度学习]谷歌云GPU服务器创建与使用指南(一) 这篇介绍ssh连接及一款客户端xshell 本篇将分为以下几点讲述: 1.ssh客户端 2.ssh公钥配置 3.使用xshell连接ssh ...
使用电脑连接远程服务器训练
mobexterm 登录使用服务器训练模型详解_艾醒的博客-CSDN博客_服务器训练模型阿里云使用笔记(一):从零开始配置阿里云GPU服务器训练深度学习模型_Bamboo竹的博客-CSDN博客_阿 ...
NVIDIA-TLT训练行人检测模型（一）----算法模型的训练(finetuning)
前言在博客阅读前需要说明,本博文为系列文章,通过阅读文章,您将会学习到如下内容: 使用NVIDIA Transfer Learning Toolkit 工具训练(finetuning)出一个行人检测 ...
100种目标检测数据集【voc格式yolo格式json格式coco格式】+YOLO系列算法源码及训练好的模型
提示:本文介绍并分享了应用于各行业.各领域非常有用的目标检测数据集(感谢您的关注+三连,数据集持续更新中-),其中绝大部分数据集作者已应用于各种实际落地项目,数据集整体质量好,标注精确,数据的多样性充 ...
免费使用高性能的GPU和TPU—谷歌Colab使用教程
免费使用高性能的GPU和TPU-谷歌Colab使用教程 1. Colab简介 2. 使用准备 2.1 科学上网 2.2 Google Drive 3. Colab 使用 3.1 云硬盘挂载 3.2 硬 ...

【colab】谷歌colab免费服务器训练自己的模型，本文以yolov5为例介绍流程

一.前言

二.准备工作

1.注册Google drive（谷歌云盘）

Google Driver官网：https://drive.google.com/drive/

Colab官网：https://colab.research.google.com/

2.上传项目文件

3.安装Colaboratory

4.colab相关操作和命令

5.项目相关操作

三.异常处理

【colab】谷歌colab免费服务器训练自己的模型，本文以yolov5为例介绍流程相关推荐

最新文章

热门文章