简介
Google Colaboratory是谷歌开放的云服务平台,提供免费的CPU、GPU和TPU服务器。

目前深度学习在图像和文本上的应用越来越多,不断有新的模型、新的算法获得更好的效果,然而,一方面对资源的要求越来越高,另一方面很多开源的模型在国内无法使用。例如,前段时间研究的图片风格快速转换中用到的模型训练,在GPU上运行需要4个多小时,在CPU上无法想象。再者,tensorflow-hub开源的很多模型,我在使用某种软件的前提下,依然无法访问。

解决上述问题的一种方法,就是使用谷歌的Colab平台。他提供的GPU型号是Tesla K80,并且预安装了常用的框架,例如TensorFlow等。

账号
Colab 和 Google Drive使用同一账号登录。

Google Drive: https://drive.google.com/drive
Colab: https://colab.research.google.com/drive/

使用流程
我将谷歌云盘作为Colab的外挂硬盘使用,每次启动需要使用以下步骤:

在“我的云端硬盘”中创建文件夹“Colab”,用于存放Colab中相关文件。(注意最好不要有空格,以避免不必要的错误)
点击左上角“新建”,选择Colaboratory。首次使用,需要关联Colab应用。
创建新应用后,Drive的当前路径下会生成 Unititled*.ipynb,也就是保存当前Colab窗口内容的文件。 每次新建,都需要重新配置环境。
配置“笔记本设置”。选择“修改”-“笔记本设置”,设置python版本和服务器类型。
安装必要的包和软件。
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
1
2
3
4
5
6
7
8
9
10
11
12
关联Google Drive。
!mkdir -p drive
!google-drive-ocamlfuse drive
1
2
点击左侧菜单,可以看到“文件”下方生成了一个“drive”文件夹,和云盘中文件夹保持同步。
5. 安装需要的工具(可以省略)。

其他操作
(1) colab中使用linux命令,前面需要加上"!",例如,创建文件夹:

!mkdir colab
1
(2) 切换工作目录使用chdir函数

import os
os.chdir("/content/drive/Colab")
1
2
(3) 设置方便可用的快捷键。

打开“工具”-“键盘快捷键”进行设置。

(4) 左侧菜单中间“代码段”中,可用根据需要选择常用代码,例如加载drive中的数据,保存文件到本地系统。

(5)Colab最多连续使用12小哥,超过时间系统会强制停止,再次使用需重新配置。

下载TF-hub模型
因为某种原因,国内无法访问tf-hub,其中提供的很多模型也无法使用。如果直接在Colab中使用,可以按照官网指定代码运行使用。如果想要下载到本地使用,需要在colab中运行以下代码:

以下载通用句子编码(universal-sentence-encoder model)为例:

# Create a folder for the TF hub module.
$ mkdir /tmp/moduleA
# Download the module, and uncompress it to the destination folder. You might want to do this manually.
$ curl -L "https://tfhub.dev/google/universal-sentence-encoder/2?tf-hub-format=compressed" | tar -zxvC /tmp/moduleA
# Test to make sure it works.
$ python
> import tensorflow_hub as hub
> hub.Module("/tmp/moduleA")
1
2
3
4
5
6
7
8
其他模型和示例参考:https://github.com/tensorflow/hub/tree/master/examples”
---------------------
作者:蜡笔大龙猫
来源:CSDN
原文:https://blog.csdn.net/pirage/article/details/86741977
版权声明:本文为博主原创文章,转载请附上博文链接!

Google Colab使用教程相关推荐

  1. Google Colab 使用教程(1)

    Google Colab免费GPU使用教程(一) 免费用户只能看到二级目录,子目录看不到了 !cd /content/YOLOv5_with_BiFPN !pwd !cd YOLOv5_with_Bi ...

  2. Google Colab 免费GPU服务器使用教程 挂载云端硬盘

    一.前言 二.Google Colab特征 三.开始使用 3.1在谷歌云盘上创建文件夹 3.2创建Colaboratory 3.3创建完成 四.设置GPU运行 五.运行.py文件 5.1安装必要库 5 ...

  3. Google Colab使用详细教程

    Google Colab使用详细教程 使用教程真的很全面,而且通俗易懂 参考: https://juejin.im/post/5c05e1bc518825689f1b4948 https://clou ...

  4. Google Colab 免费GPU 教程

    Google Colab 免费GPU 教程 近日google的交互式工具Colaboratory推出GPU支持的版本,支持免费的Tesla K80,可以使用Keras.Tensorflow和Pytor ...

  5. 使用谷歌Colab(Colaboratory)免费GPU训练自己的模型及谷歌网盘无限容量(Google drive)申请教程

    使用谷歌Colab(Colaboratory)免费GPU训练自己的模型及谷歌网盘无限容量(Google drive)申请教程 谷歌的colab(Colaboratory)是谷歌为全世界学术研究者免费提 ...

  6. Google Colab Colaboratory谷歌推出的免费GPU服务器使用教程

    本文是对Colaboratory的简单使用介绍,看完本文后,可以简单使用Colaboratory,比如用来学习ubuntu操作系统系统.但是如果你想对Colaboratory进行更高深的学习,如机器学 ...

  7. Google免费GPU Colab使用教程

    转载请注明出处:https://blog.csdn.net/siisbin27/article/details/82227444 PS:Colaboratory 是谷歌的一个研究项目,可免费使用.(暂 ...

  8. Google Colab 免费GPU服务器使用教程

    一.前言 不知道大家是否为了寻找免费GPU服务器而焦头烂额.  近些天,谷歌推出了Google Colab(Colaboratory)  官方对其的说明是: Colaboratory 是一个研究项目, ...

  9. Google Colab——谷歌免费GPU使用教程

    Google Colab简介 Google Colaboratory是谷歌开放的一款研究工具,主要用于机器学习的开发和研究.这款工具现在可以免费使用.Google Colab最大的好处是给广大的AI开 ...

最新文章

  1. IndexedDB 索引数据库
  2. 从搜索到AI,成为“小百度”的搜狗,没有新故事
  3. shell / 获取当前工作目录的方法
  4. 实现div里的img图片水平垂直居中
  5. 2020牛客国庆集训派对day4 Jokewithpermutation
  6. 光模块的正确安装方法和使用须知
  7. LeetCode 70. 爬楼梯(动态规划)
  8. golang 大数据平台_大数据平台是什么?有哪些功能?如何搭建大数据平台?
  9. Asp.net 高性能数据分页函数,调用示例
  10. MongoDB 快速入门--高级
  11. UE4蓝图基础01-开发环境安装
  12. CS188-Project4
  13. 发链(FAB)技术有望突破区块链交易瓶颈
  14. python - 正则表达式 与或非
  15. 比普通空调好,比净化器静 海尔唯一获“空·净一体”A+认证
  16. c语言键盘符号大全,求c语言各种符号 并且意义。。在键盘上没有的 如何打?...
  17. 分布式事务二 基础理论
  18. Add Binary 二进制求和
  19. Windows和iPad传输
  20. 微信小程序之如何实现一寸照片换底色(附小程序成品)

热门文章

  1. 阿里云服务器部署项目
  2. 由于找不到PBSYS90.dll,无法继续执行代码。重新安装程序可能会解决此问题!
  3. 获取当前脚本目录路径问题汇总
  4. LeetCode简单题之下载插件
  5. LeetCode简单题之判断矩阵经轮转后是否一致
  6. 科技公司重新关注2级以上驾驶员辅助
  7. 人工智能芯片支持超低功耗器件的推理
  8. GPU上创建目标检测Pipeline管道
  9. YOLO3升级优化版!Poly-YOLO:支持实例分割!
  10. 2021年大数据Flink(二十七):Flink 容错机制 Checkpoint