关于mistGPU的使用

0. 导读

最近显卡这价格。。。还是买不起

但是做深度学习，只用 cpu 实在是太难受了

浪费时间，使得调参周期长
每次能使用的 batchsize 很小，本质上会影响 accuracy
不能使用较大的模型，大多数人的笔记本 cpu 跑 vgg16 用 32 的 batchSize 都费劲

最近找了几个云服务器，比较下来，还是mist好用，这里给出链接：mistGPU的网址

接下来聊一聊我自己使用mist服务器训练模型的一种方法——命令行 + 云端 + JupyterLab方法

该方法相对来说操作较为方便，供大家参考

1. 数据集

首先在本地把数据集打包好，打包为.zip的格式，
然后上传至mistGPU的云端（1G以下不收费）
接着要将云端的压缩包解压到服务器的根目录，操作如下：

使用mistGPU的命令行工具，输入：

unzip /data/example.zip -d ~/

即可将数据集解压到根目录

比如example.zip里面的内容为文件夹flower_data，使用命令：

ls ~/

即可显示：flowerdata

注：在迁移学习时，pth文件较大，也可以用同样的方法上传至mist服务器

另一种上传文件的方法 – 使用scp：

scp -r -P35000 /Users/luxhermann/Desktop/example.zip mist@gpu08.mistgpu.xyz:~/

即：

scp -r -P35000 本地路径 mist@gpu08.mistgpu.xyz:~/

2. 代码文件

建议：

在本地把所有代码都写好
在小batchsize、小模型的情况下先跑通，确保代码没有实质性错误
用mist服务器上的 JupyterLab中将较小的 .py 文件等导入到 ~/路径 (根目录)

最后还是使用mist服务器到命令行输入指令

如：

python train.py

接下来等待结果

3. 下载结果

首先在 JupyterLab 里面找到要下载的内容的路径：

如在 ~/ 路径下有一个vgg16.pth 文件是训练结果

在本地的命令行里输入指令：

scp -r -P0040 mist@xxx.mistgpu.xyz:~/vgg16.pth /Users/name/Downloads

即：

scp -r -P0040 mist@xxx.mistgpu.xyz:~/文件  本地路径

即可高速下载至本地

备注：（cuda -> cpu）

在服务器上的 pth 文件为 cuda 版本的

而本地使用该 pth 文件时，往往是 cpu 运行

故需要将导入 pth 文件的代码进行修改：

原先是：

model.load_state_dict(torch.load('./example.pth'))

需要改成

model.load_state_dict(torch.load('./example.pth', map_location=lambda storage, loc: storage))

4. 尾巴

本文主要给出了一种我个人较为常用的方法，而mist官方的文档里还有介绍其他的方法：

图形界面方法，这里主要是利用ssh端口以及Remote Desktop软件，来远程操作服务器，网络不好的直接劝退（延时很厉害）
PyCharm连接服务器方法，利用SSH解释器，我自己配置了几次，都是网速不行，连接失败。。
Vscode连接服务器方法，和上一条大同小异

客观来说，mist服务器算是目前市面上操作比较友好的一个平台了，唯一的缺点就是略贵，不过相比阿里云之类的，mist甚至性价比还不错，如图：

另外，可以使用邀请链接来得到赠送券，这是我的邀请链接，各位兄弟不妨点一下

文章若有错误，欢迎指正！

使用经验-深度学习云服务器mist GPU相关推荐

关于深度学习云服务器推荐
关于深度学习云服务器推荐免费的云服务器免费+付费的云服务器付费的云服务器 2022.2.7 更新推荐新的付费云服务器自己也是最近才开始接触到机器学习和深度学习,很直观的一个感受就是跑起代码来特 ...
深度学习云服务器怎么选？哪个便宜？
深度学习云服务器怎么选?机器学习是实现人工智能得方法,深度学习是实现机器学习得技术.机器学习在实现人工智能时需要人工辅助,而深度学习是为了让过程完全自动化.本篇来给大家分析一下深度学习服务器选择的问题 ...
2021-04-17 安装Ubuntu18.0.4 的深度学习训练服务器
序言: 过去安装系统,总是从互联网看看别人如何装,照猫画虎就稀里糊涂地装上了.但是并不知道版本之间的关系,以至于下次安装依然临时拍脑决定,这样安装的坏处是,以后运行时可能遇到莫名的错误.如今安装服务器 ...
用MXnet实战深度学习之一：安装GPU版mxnet并跑一个MNIST手写数字识别（zz）
用MXnet实战深度学习之一:安装GPU版mxnet并跑一个MNIST手写数字识别我想写一系列深度学习的简单实战教程,用mxnet做实现平台的实例代码简单讲解深度学习常用的一些技术方向和实战样例.这 ...
一个很好用的深度学习云平台--Floyd
前些天在逛知乎的时候发现了一个好东西,一个非常好用的深度学习云平台--Floyd.它是一个非常便捷的深度学习云计算平台,虽然我前面已经搭建过了GPU版本的tensorflow,但是在速度上还是比不上在 ...
【翻译】为深度学习购买哪种GPU: 我在深度学习中使用GPU的经验和建议
文章目录概述 GPU是如何工作的? 对深度学习处理速度最重要的GPU规格张量核心没有张量核心的矩阵乘法使用张量核心的矩阵乘法带有张量核心和异步拷贝的矩阵乘法(RTX 30/RTX 40)和T ...
云服务器虚拟GPU驱动安装
云服务器虚拟GPU驱动安装最近在利用云服务器的虚拟GPU进行深度学习时会出现英伟达官方提供的驱动安装不了或者安装之后在训练时会出现突然变得特别慢等问题. 这是因为这种vgn显卡,,是虚拟化显卡,将 ...
推荐一个好用的深度学习云平台--Floyd
前些天在逛知乎的时候发现了一个好东西,一个非常好用的深度学习云平台--Floyd.它是一个非常便捷的深度学习云计算平台,虽然我前面已经搭建过了GPU版本的tensorflow,但是在速度上还是比不上在 ...
推荐给没有机器的小伙伴------深度学习云平台Floydhub
#第一篇博客文档# 公司的机器还没有来 Floydhub是一个简单易用的深度学习云平台,支持jupyter notebook, 非常的简单好用.而且有免费的20小时,之后每小时GPU大约0.6美元,C ...

使用经验-深度学习云服务器mist GPU