本文转载自机器之心。

选自amitness.com

作者:Amit Chaudhary

机器之心编译

编辑:陈萍

Google Colab 给广大的 AI 开发者提供了免费的 GPU,你可以在上面轻松地跑 Tensorflow、Pytorch 等深度学习框架。但关于 Colab 的使用技巧你又掌握了多少呢?这篇文章将介绍 20 种 Colab 使用技巧,帮你提高使用效率。

1. 便签本 Notebook

当我们在 colab 上尝试一些临时的东西时,我们会创建一堆杂乱、没有标题的 Notebook。

为了解决这个问题,你可以把以下链接加入书签:https://colab.research.google.com/notebooks/empty.ipynb

这将打开一个特殊的 scratch notebook,并且你对该 notebook 所做的任何更改都不会保存到你的主目录中。

2. 单元计时

通常,我们手动计算一段代码的开始时间和结束时间之间的差值来衡量所花费的时间。Colab 提供了内置功能来执行此操作。在执行了一个单元(cell)之后,将鼠标悬停在单元运行图标上,你将获得代码执行时间的估计值。

3. 运行某个单元的一部分

你也可以运行某个单元的一部分,通过选择单元格并点击 Runtime 索引到 Run Selection 按钮或使用键盘快捷键 Ctrl + Shift + Enter。

4. Jupyter Notebook 快捷键

快捷键为编程带来了便利,但 Jupyter Notebook 中的快捷键不能直接在 Colab 中使用。不过,这里有一个关系映射表来解决这一问题。从中可以看出,你只需要在 Jupyter 的快捷键前面加上「Ctrl +M」就能在 Colab 中使用。此规则适用于大多数快捷键。

以下是一些特例,其快捷方式已完全更改或保持不变。

5. 跳转到类定义

与 IDE 相似,你可以通过按 Ctrl 键,然后单击一个类名来跳转到类定义。例如,在这里我们通过按 Ctrl 并单击 Dense 类名来查看 Keras 中 Dense 层的类定义。

6. 在 GitHub 中打开 Notebooks

Google Colab 团队提供了官方的 Chrome 扩展程序。使用 colab 时,可以直接在 GitHub 上打开 notebooks。

扩展程序下载地址:https://chrome.google.com/webstore/detail/open-in-colab/iogfkhleblhcpcekbiedikdehleodpjo

安装后,单击 GitHub notebook 的 colab 图标直接将其打开。

或者,你也可以手动打开 GitHub notebook,将 github.com 替换为 colab.research.google.com/github 即可。

https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

替换为

https://colab.research.google.com/github/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

甚至更简单的方法是用 githubtocolab.com 替换 github.com。

https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

替换为

https://githubtocolab.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

7. 从 Colab 运行 Flask 应用

使用 flask-ngrok 库(https://github.com/gstaff/flask-ngrok),你可以轻松地将运行在 colab 上的 Flask Web 应用程序转换为一个 demo 原型。

首先,你需要安装 flask 和 flask-ngrok。

!pip install flask-ngrok flask==0.12.2

然后,你只需要将「flask app」对象传递给「run_with_ngrok」函数,它将在启动服务器时公开 ngrok 端点。

from flask import Flask
from flask_ngrok import run_with_ngrokapp = Flask(__name__)
run_with_ngrok(app)@app.route('/')
def hello():return 'Hello World!'if __name__ == '__main__':app.run()

8. 在 Tensorflow 版本之间切换

你可以很容易地在 Tensorflow 1 和 Tensorflow 2 之间切换。

要切换到 Tensorflow 1.15.2,请使用以下命令:

%tensorflow_version 1.x

要切换到 Tensorflow 2.2,请运行以下命令:

%tensorflow_version 2.x

你需要重新启动才能生效。出于性能考虑,Colab 建议使用预安装的 Tensorflow 版本,而不是用 pip 命令安装它。

9. Tensorboard 集成

Colab 还提供了一个命令,可以直接从 notebook 使用 Tensorboard。你只需要使用 --logdir 设置日志目录位置。

你可以从官方 notebook 学到它的使用方法:https://colab.research.google.com/github/tensorflow/tensorboard/blob/master/docs/tensorboard_in_notebooks.ipynb。

%load_ext tensorboard
%tensorboard --logdir logs

10. 查看资源限制

Colab 为他们的免费版本和专业版本提供了以下规格。根据自己的情况,如果你需要更好的运行时间、GPU 和内存,你可以以每月 10 美元的价格切换到专业版本。

可以通过运行以下命令查看你已经被分配到的 GPU:

!nvidia-smi

有关 CPU 的信息,可以运行此命令:

!cat /proc/cpuinfo

此外,你还可以通过运行以下命令查看 RAM 容量

import psutil
ram_gb = psutil.virtual_memory().total / 1e9
print(ram_gb)

11. 使用交互式 shell

Colab 中没有内置的交互终端。但是可以使用 bash 命令以交互方式试用 shell 命令。只需运行此命令,你将获得交互式输入。

!bash

现在,你可以在给定的输入框中运行任何 shell 命令。

要退出 shell,只需在输入框中键入 exit。

12. 当前的内存和存储使用情况

Colab 提供了 RAM 和磁盘使用情况的指示器。如果将鼠标悬停在指示器上,将弹出一个窗口,其中包含当前内存和存储使用情况和总容量。

13.「Open in Colab」 标志

你可以使用如下 markdown 代码在 README.md 或 jupyter notebooks 中添加「Open in Colab 」标志。

在这段代码中,我们正在加载 SVG 图片,然后将其链接到 colab notebook。

[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/notebooks/basic_features_overview.ipynb)

14. Pandas 交互表

Colab 提供了一个 notebook 扩展,用于向 pandas dataframes 添加交互式排序和过滤功能。要使用它,请运行以下代码。

%load_ext google.colab.data_table

在加载下面的扩展之后,你可以看到常规的 pandas dataframe 和交互式 dataframe。

15. 设置 Conda 环境

如果将 miniconda 用作 python 环境管理器,你可以通过在 notebook 顶部运行以下命令,在 colab 上对其进行设置。

# Download Miniconda installation script!wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
# Make it executable!chmod +x Miniconda3-latest-Linux-x86_64.sh
# Start installation in silent mode!bash ./Miniconda3-latest-Linux-x86_64.sh -b -f -p /usr/local
# Make conda packages available in current environment
import sys
sys.path.append('/usr/local/lib/python3.7/site-packages/')

执行完单元后,你可以照常使用 conda 安装软件包。

!conda install -y flask

16. 从命令行管理 Colab Notebooks

你可以使用名为 colab-cli 的库轻松创建 colab notebooks 并将其与本地 notebooks 同步:https://github.com/Akshay090/colab-cli

17. 运行后台任务

在某些情况下,我们需要先启动一些 Web 服务器或后台任务,然后才能执行常规程序。

要运行后台任务,请使用「nohup」命令,然后使用常规的 shell 命令,并在末尾添加「&」使其在后台运行。这样确保可以在之后的 notebook 中运行单元,而不会被后台任务终止。

!nohup bash ping.sh &

18. 提醒训练完成

如果你要执行耗时较长的任务(例如训练模型),你可以将 Colab 设置为在完成后发送桌面通知。

要启用此功能,请转到「Tools ⮕ Settings ⮕ Site」,然后启用「Show desktop notifications」复选框。

这时将弹出一个窗口,以启用浏览器通知。只要接受它,即使你在另一个选项卡、窗口或应用程序上,colab 也会在任务完成时通知你。

19. 运行 javascript 代码

使用 %%javascript 命令运行 javascript 代码。

20. 在 Colab 上运行 VSCode

你可以在 Colab 上运行完整的 VSCode。请参考文档:https://amitness.com/vscode-on-colab/。

原文链接:https://amitness.com/2020/06/google-colaboratory-tips/

备注:框架

TF&PyTorch交流群

扫码备注研究方向拉你入群。

我爱计算机视觉

微信号:aicvml

QQ群:805388940

微博知乎:@我爱计算机视觉

投稿:amos@52cv.net

网站:www.52cv.net

在看,让更多人看到  

20种小技巧,玩转Google Colab相关推荐

  1. JAVASCRIPT常用20种小技巧汇总

    1.TEXTAREA自适应文字行数的多少 2.脚本永不出错 <script LANGUAGE="javascript"> </script> 3.ENTER ...

  2. 20 种小技巧,玩转 Google Colab

    选自 | amitness.com 作者 | Amit Chaudhary 转自 | 机器之心 编辑 | 陈萍 Google Colab 给广大的 AI 开发者提供了免费的 GPU,你可以在上面轻松地 ...

  3. 20个小技巧教你设计惊艳的三折页[…

    即使是一个简单的三折页,你也能大有可为.20个小技巧教,数十个精彩案例与你分享.本文来自站酷(文章版权:DATS设计翻译组 翻译,如需商业用途或转载请与 DATS设计翻译组联系,谢谢配合!)翻译:达尔 ...

  4. html文本最小长度,CSS中处理不同长度文本的几种小技巧

    CSS中处理不同长度文本的几种小技巧 [推荐教程:CSS视频教程 ] 当我们使用 CSS 构建布局时,考虑长短文本内容很重要,如果能清楚地知道当文本长度变化时需要怎么处理,可以避免很多不必要的问题. ...

  5. 每个程序员都会的35种小技巧

    每个程序员都会的35个jQuery小技巧! 1. 禁止右键点击 $(document).ready(function(){     $(document).bind("contextmenu ...

  6. 想要做好软件测评,在这之前这20个小技巧得知道

    越来越多的软件企业有着软件测评的需求,需要寻找软件测评机构来出具软件测试报告来给自身的软件完成验收.登记.上架商城等需求,想要做好软件测评可不能马虎,在选择一家可靠软件测评机构的同时也需要软件测评人员 ...

  7. python读取文件夹下所有文件的名字_一键汇总同一文件夹下所有表格,三种小技巧分享给你...

    日常工作中我们经常会遇到多表合并的情况,手动粘贴复制过于麻烦,而且容易出错,今天分享三种汇总小技巧. 方法一 Windows批处理命令 如果需要汇总的表格是CSV格式(如下图所示,表格后缀为csv), ...

  8. Python3,掌握这20个小技巧,小菜鸡瞬间变成老码农~

    20个编码小技巧 1.引言 2.常用工具 2.1 csv文件读写 2.2 计数器 2.3 Dict 2.3.1 带默认值的 Dict 2.3.2 有序的 Dict 2.4 迭代器工具 3.易混淆操作 ...

  9. 【Python】20个小技巧,让数据可视化图表更专业!

    参考 uxdesign Taras Bakusevych 数据可视化是数据展示的常见方式,所谓一图抵千言,好的图表能高效传递信息,让观众一目了然,差的图表往往会不知所云. 人类大脑的一半完全是用于处理 ...

最新文章

  1. Linux从入门到精通——自动安装脚本
  2. JDBC进行简单的增删改查
  3. 知识图谱学习笔记-命名实体识别
  4. 120. Triangle 三角形最小路径和
  5. python openstack oslo_config使用_OpenStack配置解析库oslo.config的使用方法
  6. 机器人操作系统ROS(一):发布接收消息
  7. 功夫小子实践开发-具有简单AI的怪物类的分析和实现
  8. WireShark下载:官网、源码
  9. html 苹果微信录音js,基于JS开发微信网页录音功能的实例代码
  10. 短视频从入门到秃头(二)——拍摄第一条短视频
  11. 【微信小程序】webview向h5页面传值
  12. 深度学习论文写作框架
  13. 前端正则表达式指定邮箱域名匹配
  14. 冰冻效果Shader案例
  15. 关于SwiftUI,看这一篇就够了
  16. Python 进阶视频课 - 10. LSMC 美式百慕大期权定价
  17. 股市的交易日(动态规划算法)
  18. php5.6 nts ts,php ts nts v6 v9的区别
  19. 机器人 考研 计算机专业,机器人工程专业考研可以朝哪所大学奋斗?
  20. Mysql 时区修改问题(冬令时夏令时)

热门文章

  1. “源文件与模块生成时的文件不同,是否希望调试器使用它?”解决方案
  2. jq获取 html元素节点,jQuery 获取当前节点的html
  3. python获取类的类属性_在python中获取类和实例的属性
  4. python父亲节符号_菲菲用python编程绘制的父亲节礼物
  5. selenium+linux+python,Linux下Python+selenium自动化环境搭建
  6. mysql数据库搜索引擎要先进入_Mysql搜索引擎都有哪些区别
  7. 省一级计算机选择题题库及答案,计算机一级考试选择题题库之excel题及答案(最新版).doc...
  8. java流数据base64,Base64数据的流解码
  9. python 数列第几项开始,数值超过1200
  10. oracle into bl,5_Oracle_Admin_Oracle的启动模式和关闭