解决Google Colab 读取Google Drive(云盘) 文件速度慢
问题描述
使用colab的时候,当需要从云盘中读取(图片)数据时,相比于本地磁盘读取,速度非常慢。
猜测可能是文件数量过多时,请求和获取数据占据了很多时间。
解决方法
方法一(个人推荐)
上传文件到云盘时只需要上传文件的压缩包,然后在colab notebook 里进行解压使用。这样不仅节省了文件上传时间,而且在colab notebook上直接解压速度也非常快。代码如下:
import zipfilewith zipfile.ZipFile("需要读取的文件在云盘中位置", 'r') as zip_ref:zip_ref.extractall("/content/") # 我使用的解压位置
方法二
把云盘中需要的文件,直接复制到运行时的环境里。这个复制过程会take some time,我感觉没有第一个方法快捷,方便。
import shutil
# # 把olddir拷贝一份newdir
shutil.copytree('需要读取的文件在云盘中位置', 'HCII23_Figcon')
解决问题了的话,欢迎点赞,关注,评论。
解决Google Colab 读取Google Drive(云盘) 文件速度慢相关推荐
- 存储在icloud云盘文件夹顶层_重大问题!icloud云盘自动重命名且丢失文件… - Apple 社区...
情景:家中是mac,公司是windows,为了在家使用mac工作方便而将公司文件储存在icloud云盘中共享. 配置:公司windows 10电脑上安装最新icloud云盘客户端,并将文件保存在icl ...
- 存储在icloud云盘文件夹顶层_iCloud云盘文件夹共享功能使用方法
类型:桌面工具大小:37.2M语言:中文 评分:10.0 标签: 立即下载 在我们的苹果手机当中很多人不知道其实我们手机自带有云盘的,就是iCloud云盘文件夹,其中也有个共享的功能,可以和别人互相分 ...
- 天翼网盘目录php,天翼云盘文件同步与目录设置方法
电脑知识-电脑高手网(http://www.dngsw.cn):天翼云盘文件同步与目录设置方法 在天翼云客户端中,不仅能够为我们提供文件上传功能,而且它还具有文件自动同步的功能,用户在下载使用天翼云P ...
- Google Colab 读取/存储 google drive(谷歌云盘)内的文件
当然使用个命令需要登录google账号 获取相应的验证码 将验证码复制到框内 回车即可继续执行 完整如下: import os from google.colab import drive drive ...
- Google Colab 云盘路径 读取云盘文件
1. 如何从本地上传数据到colab云盘(云端硬盘) 2. 上传了数据但是content里空空如也? [原因]没有装载云盘 [解决]切到文件页面,点这个标志,就会弹出对话框让你装载 3. 怎获取想要的 ...
- Google Colab 读取/存储 云盘内的文件
背景 Google Colaboratory是谷歌开放的一款研究工具,主要用于机器学习的开发和研究.这款工具让广大的AI开发者可以使用免费的GPU! 在训练模型时 使用GPU自然速度飞快, 那么训练完 ...
- google colab挂载google云盘
from google.colab import drive drive.mount('/content/drive/')
- Colab读取Google drive云端硬盘
1.colab获取谷歌的授权 !apt-get install -y -qq software-properties-common python-software-properties module- ...
- 解决:好用的阿里云盘无法分享压缩包等类型的文件
1. 阿里云盘 自从 "阿里云盘" 从 2021 年与大家见面后到目前为止,相信各位已经对此不再陌生了,甚至是深受网盘用户们的喜爱,只因其不限速这一项权益,无论是会员还是非会员用户 ...
最新文章
- 软件测试自动化的成功经验
- Windows访问Ubuntu8.10分区
- Zen Coding css,html缩写替换大观 快速写出html,css
- 嵌入式系统串口解析二进制数_嵌入式系统Bootloader分析及DSP56F800串口加载功能实现...
- 给手机浏览器减负 轻装上阵才能速度制胜
- 解决linux vi报错 Can‘t open file for writing
- java web前端邮件,javaweb之javamail
- 怎么做游戏打击感浅述
- PowerVim - 强大的vim配置
- 普通卷积、转置卷积、空洞卷积(dilated convolution、Atrous Convolution)
- 第四季-专题15-网卡驱动程序设计
- 解决办法:无法解析的外部符号 __imp_RegCloseKey
- Python引力波火了 你该了解的开源框架
- Spring源码阅读 —— 一文看懂AOP的流程
- ET游戏框架之环境搭建与运行
- Linux -- dos2unix、unix2dos
- MySQL当中的约束条件
- 2022重装Win7系统(64位)提示Windows update无法搜索新更新错误代码80072EFE
- # ffmpeg 将多幅图片压缩成视频 h264 avi
- Integer和int详解