神经网络学习小记录69——Pytorch 使用Google Colab进行深度学习
神经网络学习小记录69——Pytorch 使用Google Colab进行深度学习
- 注意事项
- 学习前言
- 什么是Google Colab
- 相关链接
- 利用Colab进行训练
- 一、数据集与预训练权重的上传
- 1、数据集的上传
- 2、预训练权重的上传
- 二、打开Colab并配置环境
- 1、笔记本的创建
- 2、环境的简单配置
- 3、深度学习库的下载
- 4、数据集的复制与解压
- 5、保存路径设置
- 三、开始训练
- 1、标注文件的处理
- 2、训练文件的处理
- a、预训练文件的使用
- b、保存周期的设置
- 3、开始训练
- 断线怎么办？
- 1、防掉线措施
- 2、完了还是掉线呀？
- 总结
注意事项
本文以VOC数据集为例，因此在训练的时候没有修改classes_path等，如果是训练自己的数据集，各位一定要注意修改classes_path等其它参数！
学习前言
Colab是谷歌提供的一个云学习平台，Very Nice，最近卡不够用了决定去白嫖一波。该博客只会说明如何使用Colab对已有的深度学习仓库进行训练，并不会说如何进入外网、如何注册等。
该博客仅为了演示Colab的使用，主要是为了各位熟悉Colab操作，具体问题具体分析，操作不当与版本更迭会导致步骤出错，如果出错的话建议多百度，多看代码与指令，查一下错误的原因，同时建议是有一定的基础同学再使用Colab。
什么是Google Colab
Google Colab是谷歌提供的免费Jupyter 笔记本环境，不需要什么设置与环境配置就可以使用，完全在云端运行。不影响本地的使用。
Google Colab为研究者提供一定免费的GPU，可以编写和执行代码，所有这些都可通过浏览器免费使用。同学们可以在上面轻松地跑 Tensorflow、Pytorch 等深度学习框架。
尽管Google Colab提供了一定的免费资源，但资源量是受限制的，所有 Colab 运行时都会在一段时间后重置。Colab Pro 订阅者的使用量仍会受到限制，但相比非订阅者可享有的限额要多出大约一倍。Colab Pro+ 订阅者还可获享更高的稳定性。
相关链接
Colab官网：https://colab.research.google.com/
（需要外网才可以进入）
ipynb Github：https://github.com/bubbliiiing/Colab
利用Colab进行训练
本文以YoloV4-Tiny-Pytorch版本的训练为例，进行Colab的使用演示。
一、数据集与预训练权重的上传
1、数据集的上传
Colab和Google自带的云盘联动非常好，因此我们需要首先将数据集上传云盘，这个上传的过程其实非常简单，本地先准备好数据集。
由于我所上传的库，均使用的VOC数据集，我们需要按照VOC数据集摆放好。本文直接以VOC07+12数据集为例进行演示。
JPEGImages里面存放的为图片文件，Annotations里面存放的标签文件，ImageSets里面存放的是区分验证集、训练集、测试集的txt文件。
然后将VOCdevkit文件整个进行打包。需要注意的是，不是对上面三个文件夹进行打包，而是对VOCdevkit进行打包，这样才满足数据处理的格式。
在获得打包后的压缩包后，将压缩包上传到谷歌云盘。我在谷歌云盘上新建了一个VOC_datasets文件夹存放压缩包。
此时数据集的上传已经完成。
2、预训练权重的上传
在谷歌云盘上进行文件夹的创建，首先创建Models，然后在Models里面创建yolov4-tiny-pytorch，然后在yolov4-tiny-pytorch里面创建logs和model_data。
model_data放置的是预训练文件。
logs放置的是网络训练过程中产生的权值。
由于我们这次使用的是YoloV4-Tiny-Pytorch的库，我们将它的预训练权重上传到model_data文件夹。
二、打开Colab并配置环境
1、笔记本的创建
在该步中，我们首先打开Colab的官网。
然后点击文件，创建笔记本，此时会创建一个jupyter笔记本。
创建完成后给文件改个名，好看一些。
之后点击代码执行程序，然后点击更改运行时类型，在其中硬件加速器部分选择GPU，Colab便会配置一个带有GPU的机器，此时笔记本就创建完成了。
2、环境的简单配置
colab已经集成了pytorch环境，无需专门配置pytorch，不过使用的torch版本较新。
由于我们的数据集在谷歌云盘上，所以我们还要挂载云盘。
from google.colab import drive
drive.mount('/content/gdrive')
我们将上述代码输入到笔记本中执行。将云盘挂载到服务器上。然后点击运行即可。
此时点击左边栏中，类似于文件夹的东西，就可以打开文件夹了，看看文件部署情况。gdrive就是我们配置的谷歌云盘。没有的话就去左侧刷新一下。
打开gdrive，其中有我们的数据集。
3、深度学习库的下载
这一步，我们需要完成深度学习仓库的下载，我们使用git clone指令进行下载。执行如下指令后，左边的文件中多出了yolov4-tiny-pytorch文件夹。没有的话就去左侧刷新一下。
然后我们通过了cd指令将根目录转移到了yolov4-tiny-pytorch文件夹。
!git clone https://github.com/bubbliiiing/yolov4-tiny-pytorch.git
%cd yolov4-tiny-pytorch/
4、数据集的复制与解压
直接将数据集布置在谷歌云盘会导致大量的云盘数据传输，速度远不及本地文件，因此我们需要将数据集复制到本地里进行处理。
我们输入下述代码进行文件的复制与解压。首先执行的是删除指令，将原来的空VOCdevkit文件夹进行删除。然后进行解压。
由于这里使用的是zip文件所以使用的是unzip指令，如果是其它形式的压缩包，需要根据压缩包的格式进行指令的修改（请同学们百度）。执行下述指令后，可以发现，左边的文件中已经解压好了VOC数据集。没有的话就去左侧刷新一下。
!rm -rf ./VOCdevkit
!cp /content/gdrive/MyDrive/VOC_datasets/VOC07+12+test.zip ./
!unzip ./VOC07+12+test.zip -d ./
5、保存路径设置
本文提供的代码默认的保存路径为logs文件夹，但Colab存在不稳定的问题，运行一段时间后会发生断线。
如果将权值保存在原始根目录下的logs文件夹，发生断线网络就白训练了，浪费大量的时间。
可以将google云盘软连接到根目录下，那么即使断线，权值也保留在云盘中。
本文之前在云盘中创建了logs文件夹。将该文件夹链接过来。
!rm -rf logs
!ln -s /content/gdrive/MyDrive/Models/yolov4-tiny-pytorch/logs logs
三、开始训练
1、标注文件的处理
打开voc_annotation.py文件，由于我们现在使用的直接就是VOC数据集，我们已经划分好了训练集验证集和测试集，所以我们将annotation_mode设置为2。
然后输入指令完成标签的处理，生成2007_train.txt和2007_val.txt。
!python voc_annotation.py
2、训练文件的处理
处理训练文件主要包含三个部分：
1、预训练文件的使用。
2、保存周期的设置，这个设置是因为云盘的存储空间有限，每代都保存会导致存储空间满出。
a、预训练文件的使用
首先修改model_path，指向我们上传到谷歌云盘的权值文件。在左侧文件栏中，找到models/yolov4-tiny-pytorch/model_data，复制权值路径。
替换右侧的model_path。
b、保存周期的设置
有一些仓库已经完成了更新，添加了每隔多少世代的保存参数，直接修改save_period既可，在本文中，我们将save_period设置成4，也就是每隔4代保存一次。
还没有更新的仓库只能每一代都保存了，记得偶尔去google云盘删一下。
3、开始训练
此时在笔记本里面输入：
!python train.py
即可开始训练。
断线怎么办？
1、防掉线措施
听说可以通过自动点击来减少掉线频率。
在Google colab的按F12，点击网页的控制台，粘贴如下代码：
function ConnectButton(){console.log("Connect pushed");document.querySelector("#top-toolbar > colab-connect-button").shadowRoot.querySelector("#connect").click()
}
setInterval(ConnectButton,60000);
2、完了还是掉线呀？
没什么办法，便宜的东西必然有它的坏处。
按照步骤重新来一次，然后将预训练权重设置成logs文件夹里面训练好的权值文件即可。
除此之外，Init_epoch等参数也需要调整。
总结
使用Colab训练比较重要的是处理好路径的关系，找到哪个文件在哪里，文件夹的执行目录在哪里，就可以比较简单的运行起程序了，不过Colab确实存在断线问题，我们需要时刻保存好文件，因此我将权值直接保存在云盘上，这样也不会丢失。
神经网络学习小记录69——Pytorch 使用Google Colab进行深度学习相关推荐
- 神经网络学习小记录52——Pytorch搭建孪生神经网络（Siamese network）比较图片相似性
神经网络学习小记录52--Pytorch搭建孪生神经网络(Siamese network)比较图片相似性 学习前言 什么是孪生神经网络 代码下载 孪生神经网络的实现思路 一.预测部分 1.主干网络介绍 ...
- 神经网络学习小记录50——Pytorch 利用efficientnet系列模型搭建yolov3目标检测平台
神经网络学习小记录50--Pytorch 利用efficientnet系列模型搭建yolov3目标检测平台 学习前言 什么是EfficientNet模型 源码下载 EfficientNet模型的实现思 ...
- 学生党 白嫖之GPU Google colab 训练深度学习模型
白嫖GPU之Google colab 前言:本人是一名穷且孤单的大学秃头生,跟着老师学习的是计算机视觉领域,学习目标检测到目标跟踪已经有一年的时间了,大多数都是在做论文阅读,很少有机会去实战(因为穷, ...
- 神经网络学习小记录47——ShuffleNetV2模型的复现详解
神经网络学习小记录47--ShuffleNetV2模型的复现详解 学习前言 什么是ShuffleNetV2 ShuffleNetV2 1.所用模块 2.网络整体结构 网络实现代码 学习前言 据说Shu ...
- 神经网络学习小记录-番外篇——常见问题汇总
神经网络学习小记录-番外篇--常见问题汇总 前言 问题汇总 1.下载问题 a.代码下载 b. 权值下载 c. 数据集下载 2.环境配置问题 a.20系列所用的环境 b.30系列显卡环境配置 c.CPU ...
- 神经网络学习小记录2——利用tensorflow构建循环神经网络（RNN）
神经网络学习小记录2--利用tensorflow构建循环神经网络(RNN) 学习前言 RNN简介 tensorflow中RNN的相关函数 tf.nn.rnn_cell.BasicLSTMCell tf ...
- 神经网络学习小记录45——Keras常用学习率下降方式汇总
神经网络学习小记录45--Keras常用学习率下降方式汇总 2020年5月19日更新 前言 为什么要调控学习率 下降方式汇总 1.阶层性下降 2.指数型下降 3.余弦退火衰减 4.余弦退火衰减更新版 ...
- 神经网络学习小记录58——Keras GhostNet模型的复现详解
神经网络学习小记录58--Keras GhostNet模型的复现详解 学习前言 什么是GhostNet模型 源码下载 GhostNet模型的实现思路 1.Ghost Module 2.Ghost Bo ...
- 神经网络学习小记录39——MobileNetV3（small）模型的复现详解
神经网络学习小记录39--MobileNetV3(small)模型的复现详解 学习前言 什么是MobileNetV3 代码下载 large与small的区别 MobileNetV3(small)的网络 ...
最新文章
- 诺基亚力邀App开发员加入Ovi以对抗苹果
- java 缓存接口,java项目中，针对缓存问题的处理方式【接口中的处理方式】
- Linux历史，安装，分区，版本
- 大部分人不知道的 5 个强大HTML5 API
- redis启动管理脚本
- 解决conda activate报错IMPORTANT: You may need to close and restart your shell after running ‘conda init‘
- jmeter 配置master控制器压测机
- 前端学习资料汇总(转)
- 安卓ashmem(匿名共享内存映射)学习native篇
- R语言文本聚类实例——以《金庸全集》为例
- Spring原理机制
- python 货币换算库_【菜鸟学Python】案例一：汇率换算
- Codeforces Round #490 (Div. 3) C. Alphabetic Removals
- Verilog 仿真事件中的延时分析
- python绘图黄金螺旋_教案-for循环应用之“黄金螺旋-信息技术高中
- 喜欢我们不如加入我们：来投稿吧，稿酬靠谱！
- 计算机无法访问ftp站点,为什么我的电脑无法访问FTP服务
- 纯干货：分享一些跨境电商客服经常会用到的话术（含中英文）
- python获取erp数据_python自学之路-数据读取
- 拿到pmp的证书就可以做项目经理吗？