Goolge Colab使用教程
目录
1.1在谷歌云盘上创建文件夹
1.2 创建一个新的Colab Notebook
1.3 设置免费的GPU
1.4 执行命令
1.5 挂载Google Drive
1.6 如何上传文件
1.7 运行自己的代码
1.8 如何防止Colaboratory断掉
1.9 数据解压
注意事项
1.1在谷歌云盘上创建文件夹
当登录账号进入谷歌云盘时,系统会给予15G免费空间大小。由于Colab需要依靠谷歌云盘,故需要在云盘上新建一个文件夹。比如,我建立一个名为mask_Rcnn的文件夹:
1.2 创建一个新的Colab Notebook
--先把谷歌云盘关联上colab
点击 New -> More -> 关联找到更多应用, 找到Google Colaboratory,关联上。
--在文件夹内的空白处右键 -> 更多 -> Colaboratory
--或者点击 新建 -> More ->Google Colaboratory
创建完就出现下边的界面,点击文件名可以重命名文件:
1.3 设置免费的GPU
它是很容易更换默认的硬件(None,GPU,TPU),通过 修改->笔记本设置或者代码执行程序->更改运行时类型来选择GPU,作为硬件加速.
- 查看自己是否处于GPU环境
- 只需要运行下列代码即可
import tensorflow as tf tf.test.gpu_device_name()
- 如果显示下面的代码就证明是在GPU环境下,但如果什么都没有显示出来的话,说明不是在GPU环境,那么返回到打开GPU重新设置即可
1.4 执行命令
colab这个相当于jupyter notebook,可以直接运行python 代码,如
import os
import numpy as np
x='ok'
print(x)
这个notebook又可以执行linux下的一些命令,因为这其实是一台linux的虚拟机,只不过执行linux命令的时候前面要加!,比如:!ls , !pwd等等
1.5 挂载Google Drive
其实就是让这个notebook可以访问到你的谷歌云盘,运行以下代码,会出现一个授权链接。
from google.colab import drive
import os
drive.mount("/content/drive", force_remount=True)
将当前目录切换到谷歌云盘,然后查看你云盘里的文件;
之后每次重新登录都要1.5这两个步骤.接下来就可以像使用linux系统一样去使用了。
1.6 如何上传文件
第一种:直接上传
第二种:代码上传
进入到文件所在目录
import os
path="/content/drive/My Drive/Colab Notebooks/Your directory name"
os.chdir(path)
os.listdir(path)
!python train.py //注意colab中执行命令前要加!
第三种:github上传
通过colab使用github或本地Notebook,点击 文件->上传笔记本,然后在弹出的窗口中选择合适的选项:
1.7导入库
最新colab 默认是可以导入tensorflow 和pytorch,默认的安装包可以通过如下命令查看:
!pip list
便会输出所有pip的包。如果没有可以通过命令安装
!pip install
!apt-get install
接着是Pytorch, Pytorch的安装和我们在Linux上安装一样,点击官网选择要环境。然后只需要将官网提供的代码copy到我们的代码块中,并且在代码前加上一个“!”点击运行即可,如下
!pip3 install https://download.pytorch.org/whl/cu80/torch-1.0.0-cp36-cp36m-linux_x86_64.whl
!pip3 install torchvision
然后我们可以输入官网提供的代码作安装的测试 如果有如下输出就证明我们安装成功
import torch
x = torch.empty(5, 3)
print(x)tensor([[1.1790e-25, 0.0000e+00, 4.4842e-44],[0.0000e+00, nan, 1.6255e-43],[3.3587e-06, 5.2898e+22, 6.5625e-10],[2.0804e+23, 8.2726e+20, 6.6715e-10],[1.6993e-04, 2.7150e-06, 6.0611e-39]])
如果要安装其他的包,框架,或者某一版本的方法和我们在Linux环境下安装几乎没有差别 只需要注意在运行前加上“!”,换计划说你可以把Google Colab看成是一个Linux系统的页面。
注意:
cuda/cudnn的安装,直接贴链接Google Colab NVIDIA安装,不过现在不需要安装了。
1.8运行自己的代码
首先挂载,然后进入到文件所在的目录
import os
os.chdir('/content/drive/MyDrive/mask_Rcnn')
然后,就可以运行自己的主函数了
!python train.py
可以显示RAM和Disk才是正常的Colaboratory状态,如果出现busy表示GPU忙不可用。
如何改变busy的状态呢,重新连接Colaboratory即可。点完之后,状态就变成了restarting重启。
但是需要注意,重启之后,所有的状态就都清零了,需要重新再运行一遍代码才可以
1.8 如何防止Colaboratory断掉
- 安装Auto reconnect colab,只要浏览器打开页面有网,就可以一直给你连接上,
- 我这里设置的是2分钟连接一次,具体时间间隔,就看你自己的心情了
1.9 数据解压
用 Google Colab 解压zip大文件时,(授权后)先不要更改工作目录,直接在默认目录"/content"下解压!
!unzip xxx.zip
在Colab notebook中发现解压文件速度奇慢无比。在之后的几次尝试中发现,打开 Colab notebook 并授权后,先不要更改工作目录,直接将数据集压缩文件下载到当前目录"/content"下,并使用 "!unzip"命令解压,速度和在pc上解压差不多。再将解压后的文件移动到指定文件夹下即可,然后就可以更改工作目录了。
综上所述:先将数据集压缩打包,然后传压缩包到谷歌云端,再压缩,速度可以快很多。
1.10 使用技巧
查看函数帮助文档和源码
与IDE相似,您可以通过按Ctrl,然后单击一个类名来转到类定义。例如,在这里我们通过按Ctrl并单击Dense类名来查看Keras中Dense层的类定义。
注意事项
Colab是带有GPU的linux虚拟机,执行linux命令时前面需要加“ !”,执行python代码时可以直接编写执行。
每次重新登录需要挂载Google Drive,会在虚拟机里生成一个drive(即/content/drive/)文件夹,然后要执行命令将当前路径切换到/content/drive/My Drive/,才可以看到谷歌云盘上的文件。
Colab最多连续使用12小时,超过时间系统会强制掐断正在运行的程序并收回占用的虚拟机。并且经常使用GPU的colab用户之后分配到使用GPU的优先级会变低,所以不用的使用请将runtime type设置为None。
上传数据集的时候,一定要上传到谷歌网盘中,并且一定要上传的是压缩包,在Colaboratory中解压才行。
每运行一步的时候,需要等待的时间都特别长,一直是在转圈
挂载只有12个小时,也就是说12小时之后你就需要重现挂载一次,所以就需要我们在进行模型训练的时候记得要加上checkpoint,不然你如果训练的模型超过12小时,Google断开挂载你就白白浪费12小时啦。
假如自己离开页面太久的话,也会自动断掉的。假如电脑断网了,或者关机重启了,只要时间不是特别长一般是没事的,但假如说时间太久的话,就只能是重新训练了
长时间运行一类任务会断掉
Goolge Colab使用教程相关推荐
- 免费使用高性能的GPU和TPU—谷歌Colab使用教程
免费使用高性能的GPU和TPU-谷歌Colab使用教程 1. Colab简介 2. 使用准备 2.1 科学上网 2.2 Google Drive 3. Colab 使用 3.1 云硬盘挂载 3.2 硬 ...
- Goolge Colab免费GPU服务器使用教程
划重点:免费GPU,免费GPU,免费GPU 官方说明: 1.Colab是Google提供的一个研究型项目.可以免费使用CPU,GPU,TPU环境.具体可免费使用多久还不知道. 2.Colab支持No ...
- Google Colab 使用教程(1)
Google Colab免费GPU使用教程(一) 免费用户只能看到二级目录,子目录看不到了 !cd /content/YOLOv5_with_BiFPN !pwd !cd YOLOv5_with_Bi ...
- Google免费GPU Colab使用教程
转载请注明出处:https://blog.csdn.net/siisbin27/article/details/82227444 PS:Colaboratory 是谷歌的一个研究项目,可免费使用.(暂 ...
- 谷歌colab使用教程
学习深度学习过程中,需要跑一些很大的数据集,普通的电脑无法运行,所以有一个比较好的资源就是谷歌提供的免费GPU,这是一个跑数据的一个很好的平台,至于如何用,可以参考一下: 一.前言 二.Google ...
- Google Colab使用教程
简介 Google Colaboratory是谷歌开放的云服务平台,提供免费的CPU.GPU和TPU服务器. 目前深度学习在图像和文本上的应用越来越多,不断有新的模型.新的算法获得更好的效果,然而,一 ...
- 【Colab】Colab使用教程(跑本地文件)
文章目录 前言 一.上传本地文件 二.Colaboratory使用 1.连接 2.调整文件 3.运行文件 三.未来可期 前言 首先,自己想办法注册谷歌账号,本文不讲. Colaboratory网址:h ...
- Colab实用教程(免费的深度学习GPU环境)
一.Colab是什么? Google Colab 是一个免费的云服务并支持免费的 GPU,可以: 提高你的 Python 语言的编码技能. 使用 Keras.TensorFlow.PyTorch 和 ...
- Colab使用教程(超级详细版)及Colab Pro/Colab Pro+评测
大家好,我是温柔的玉米
- python 生存分析_用python教程进行生存分析何时何地
python 生存分析 机器学习 , 编程 , 统计 (Machine Learning, Programming, Statistics) Author(s): Pratik Shukla 作者:P ...
最新文章
- MySQL之alter语句用法总结
- 图像处理(十)基于特征线的图像变形-Siggraph 1992
- 这怕是我看过的最好的关于 “ 拜占庭将军问题 ” 的文章
- thinkphp3.22 多项目配置
- Linux下 执行程序
- 【Flink】A Typical reason for AskTimeOutException is that the recipientactor
- 绕过漏洞危害_Dipper Wallet漏洞赏金计划
- mysql case结合group+having使用
- android 隐藏系统音量的接口_Android9.0 系统默认配置清单
- julia下载QQ.jl
- docker容器获取宿主ip地址
- Android Studio 安装记录
- keras简单的实际入门教程
- Java学习笔记:04面向对象-内部类_访问修饰符_final
- 原创 【我的OpenGL学习进阶之旅】介绍一下OpenGL ES的 遮挡查询
- 【机器学习】详解 转置卷积 (Transpose Convolution)
- AE基础教程(4)——第4章 切换蒙版和形状路径的可见性
- IT专业人士:Windows 7部署的攻坚兵
- 【人工智能】机器人和AI崛起,服务型经济的春天来了
- 如何做一个职业的程序员-《麦肯锡方法》读书笔记