Google Colab使用教程
简介
Google Colaboratory是谷歌开放的云服务平台,提供免费的CPU、GPU和TPU服务器。
目前深度学习在图像和文本上的应用越来越多,不断有新的模型、新的算法获得更好的效果,然而,一方面对资源的要求越来越高,另一方面很多开源的模型在国内无法使用。例如,前段时间研究的图片风格快速转换中用到的模型训练,在GPU上运行需要4个多小时,在CPU上无法想象。再者,tensorflow-hub开源的很多模型,我在使用某种软件的前提下,依然无法访问。
解决上述问题的一种方法,就是使用谷歌的Colab平台。他提供的GPU型号是Tesla K80,并且预安装了常用的框架,例如TensorFlow等。
账号
Colab 和 Google Drive使用同一账号登录。
Google Drive: https://drive.google.com/drive
Colab: https://colab.research.google.com/drive/
使用流程
我将谷歌云盘作为Colab的外挂硬盘使用,每次启动需要使用以下步骤:
在“我的云端硬盘”中创建文件夹“Colab”,用于存放Colab中相关文件。(注意最好不要有空格,以避免不必要的错误)
点击左上角“新建”,选择Colaboratory。首次使用,需要关联Colab应用。
创建新应用后,Drive的当前路径下会生成 Unititled*.ipynb,也就是保存当前Colab窗口内容的文件。 每次新建,都需要重新配置环境。
配置“笔记本设置”。选择“修改”-“笔记本设置”,设置python版本和服务器类型。
安装必要的包和软件。
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
1
2
3
4
5
6
7
8
9
10
11
12
关联Google Drive。
!mkdir -p drive
!google-drive-ocamlfuse drive
1
2
点击左侧菜单,可以看到“文件”下方生成了一个“drive”文件夹,和云盘中文件夹保持同步。
5. 安装需要的工具(可以省略)。
其他操作
(1) colab中使用linux命令,前面需要加上"!",例如,创建文件夹:
!mkdir colab
1
(2) 切换工作目录使用chdir函数
import os
os.chdir("/content/drive/Colab")
1
2
(3) 设置方便可用的快捷键。
打开“工具”-“键盘快捷键”进行设置。
(4) 左侧菜单中间“代码段”中,可用根据需要选择常用代码,例如加载drive中的数据,保存文件到本地系统。
(5)Colab最多连续使用12小哥,超过时间系统会强制停止,再次使用需重新配置。
下载TF-hub模型
因为某种原因,国内无法访问tf-hub,其中提供的很多模型也无法使用。如果直接在Colab中使用,可以按照官网指定代码运行使用。如果想要下载到本地使用,需要在colab中运行以下代码:
以下载通用句子编码(universal-sentence-encoder model)为例:
# Create a folder for the TF hub module.
$ mkdir /tmp/moduleA
# Download the module, and uncompress it to the destination folder. You might want to do this manually.
$ curl -L "https://tfhub.dev/google/universal-sentence-encoder/2?tf-hub-format=compressed" | tar -zxvC /tmp/moduleA
# Test to make sure it works.
$ python
> import tensorflow_hub as hub
> hub.Module("/tmp/moduleA")
1
2
3
4
5
6
7
8
其他模型和示例参考:https://github.com/tensorflow/hub/tree/master/examples”
---------------------
作者:蜡笔大龙猫
来源:CSDN
原文:https://blog.csdn.net/pirage/article/details/86741977
版权声明:本文为博主原创文章,转载请附上博文链接!
Google Colab使用教程相关推荐
- Google Colab 使用教程(1)
Google Colab免费GPU使用教程(一) 免费用户只能看到二级目录,子目录看不到了 !cd /content/YOLOv5_with_BiFPN !pwd !cd YOLOv5_with_Bi ...
- Google Colab 免费GPU服务器使用教程 挂载云端硬盘
一.前言 二.Google Colab特征 三.开始使用 3.1在谷歌云盘上创建文件夹 3.2创建Colaboratory 3.3创建完成 四.设置GPU运行 五.运行.py文件 5.1安装必要库 5 ...
- Google Colab使用详细教程
Google Colab使用详细教程 使用教程真的很全面,而且通俗易懂 参考: https://juejin.im/post/5c05e1bc518825689f1b4948 https://clou ...
- Google Colab 免费GPU 教程
Google Colab 免费GPU 教程 近日google的交互式工具Colaboratory推出GPU支持的版本,支持免费的Tesla K80,可以使用Keras.Tensorflow和Pytor ...
- 使用谷歌Colab(Colaboratory)免费GPU训练自己的模型及谷歌网盘无限容量(Google drive)申请教程
使用谷歌Colab(Colaboratory)免费GPU训练自己的模型及谷歌网盘无限容量(Google drive)申请教程 谷歌的colab(Colaboratory)是谷歌为全世界学术研究者免费提 ...
- Google Colab Colaboratory谷歌推出的免费GPU服务器使用教程
本文是对Colaboratory的简单使用介绍,看完本文后,可以简单使用Colaboratory,比如用来学习ubuntu操作系统系统.但是如果你想对Colaboratory进行更高深的学习,如机器学 ...
- Google免费GPU Colab使用教程
转载请注明出处:https://blog.csdn.net/siisbin27/article/details/82227444 PS:Colaboratory 是谷歌的一个研究项目,可免费使用.(暂 ...
- Google Colab 免费GPU服务器使用教程
一.前言 不知道大家是否为了寻找免费GPU服务器而焦头烂额. 近些天,谷歌推出了Google Colab(Colaboratory) 官方对其的说明是: Colaboratory 是一个研究项目, ...
- Google Colab——谷歌免费GPU使用教程
Google Colab简介 Google Colaboratory是谷歌开放的一款研究工具,主要用于机器学习的开发和研究.这款工具现在可以免费使用.Google Colab最大的好处是给广大的AI开 ...
最新文章
- IndexedDB 索引数据库
- 从搜索到AI,成为“小百度”的搜狗,没有新故事
- shell / 获取当前工作目录的方法
- 实现div里的img图片水平垂直居中
- 2020牛客国庆集训派对day4 Jokewithpermutation
- 光模块的正确安装方法和使用须知
- LeetCode 70. 爬楼梯(动态规划)
- golang 大数据平台_大数据平台是什么?有哪些功能?如何搭建大数据平台?
- Asp.net 高性能数据分页函数,调用示例
- MongoDB 快速入门--高级
- UE4蓝图基础01-开发环境安装
- CS188-Project4
- 发链(FAB)技术有望突破区块链交易瓶颈
- python - 正则表达式 与或非
- 比普通空调好,比净化器静 海尔唯一获“空·净一体”A+认证
- c语言键盘符号大全,求c语言各种符号 并且意义。。在键盘上没有的 如何打?...
- 分布式事务二 基础理论
- Add Binary 二进制求和
- Windows和iPad传输
- 微信小程序之如何实现一寸照片换底色(附小程序成品)