搞了一段时间,终于搞明白怎么远程连接实验室服务器写深度学习代码了,如果组内有对这些比较了解的同学,可以找他们帮忙能省很多麻烦,感恩。如果没有的话这篇文章将详细说明所有操作,保证打通全流程,跟着做完就能用。

提示:这篇文章仅对jupyter notebook+vs code+tensorflow组合适用。其他软件组合或连接方法的博客和视频很多,方法、细节和需要使用的软件大多不一样,建议自己仔细查看后再使用。

jupyter notebook+vs code是我个人喜欢的搭配。jupyter可以每一个代码块的执行代码,很方便。但是原生的浏览器编辑器没有代码补全和提示,风格也不好看,所以再搭配上vs code就很让我满意。

首先是买一台Ubuntu系统的服务器,其实就是Ubuntu操作系统就是Linux,后面的设置如果没有ubuntu选项的就选Linux。所以此文只适用于自己课题组有服务器的情况下使用,如果是网上租的深度学习服务器可以查询别的教程。

具体服务器怎么配置是另外一回事了,找你们课题组里面担任服务器管理员职责的同学给你分配一个账号,把账号密码拿到就行

下一步下载VS code。注意是vs code,不是visual studio,这两个很像但是不是一个东西。蓝色的是vs code

   

去官网单击download下载

下载完成后在vs code先装好python插件和jupyter notebook插件。

操作这一步的前提是你已经使用过anaconda配置过一些相关环境了,这样的话你的电脑里就已经有python了,会给后面的事少掉很多麻烦。配置anaconda可以参考其他教程

比方说我的anaconda里面已经有三个环境了,我在vs code里选择的是my_vs_env环境。

下面打开vs code,单击红框区域进入拓展部分,输入框里输入我下面的几个插件名称下载。

以jupyter notebook为例,下载页面如下图,上图列表栏里的其它几个插件分别是vs code的中文包,python组件和jupyter notebook组件。Remote ssh那两个后面再用。

全部下载好后,去开始页面,应该会有一个jupyter notebook的新手guide。注意看guide里面的第二步 select a jupyter kernel

可以直接点击蓝色方框open command palette to select a jupyter kernel使用,上面也说了也可以用CTRL+shift+P输入命令select notebook kerne用来选择内核。单击蓝色方块比较简单,单击后选择create new jupyter notebook

进来之后,注意看右上角红框部分,已经选择好我的my_vs_env内核了,没有选好的单击该部分会直接显示出你在anaconda里面所有已经有的环境供你选择的,除非你改过路径了。所以说最好先用anaaconda配好环境在这里可以直接用了。

到这里本机环境下,vs code+jupyter notebook插件就设置好了。

你可以在自己电脑上写深度学习代码了。前提我的my_vs_env里面已经配置好了numpy,tensorflow和matplotlib。


下面就是如何把这一套内容搬上服务器了。

第一步:下载remote ssh插件。就是上文说的我们后面再用到那个插件,直接搜索remote ssh下载排名第一的那个,附带的edit ssh config files插件会一起下载的。

然后参考下文博客,一步步跟着做就行https://blog.csdn.net/junbaba_/article/details/111590179

全做好了看到左侧代码就算成功

注意看右上角红框+号,如果不点击+号,列表栏里应该是没有bash的,可以增加一个bash。新增后单击进入bash看到绿色字符就成功进入服务器了

这时再进入拓展(extension),一般在屏幕左侧。可以看到你服务器名字里已安装的插件和本地已安装的插件。

我用的服务器名字是MLSERVER里面已经有jupyter notebook了。新配置的环境里面应该是什么也没有,把jupyter notebook装进去。

装好后再回到终端窗口

下面是在服务器上创建自己的环境,注意此时你在服务器的根环境下。依次输入以下命令

conda create -n my_env  python=3.7.0

my_env可以自定义,这是你自己环境的名字, python=3.7.0(指定python版本,也可以改)这行命令的意思是创建我自己的环境。


tips:在后面下载过程中建议不采用国内镜像源,官方镜像源速度还可以。采用国内镜像源会出现一些意想不到的问题。我遇到的就有https的问题,还有有时采用国内镜像源下载某些package时会提示PackagesNotFoundError ,你近期使用的channels找不到你要的package。下文链接说了解决方法

https://blog.csdn.net/weixin_45552562/article/details/109668589

但是此方法要你注册anaconda账号,这网站不搭梯子很难登上,很折磨人,所以建议不要乱改镜像源。


等第一条命令执行完之后,继续输入

conda  activate  my_env

这行命令后就进入了你自己的环境了,这时候你的绿色字符前应该会有(my_env)字样

再依次输入

conda install ipykernelconda install nb_conda
touch test.ipynb

这行命令是新建一个.ipynb文件(jupyter notebook的文件格式)

文件目录里应该就有这个文件,单击进入。你会发现选择内核里是空的,你也运行不了代码

再去命令行直接输入 jupyter notebook

可以看到以上代码,粘贴上面说的让你copy的URL

单击选择内核,再选connect to a jupyter server

把刚刚粘贴的网址输入进去,即可选择服务器下的内核,此时应该是有可选内容的,如果没有的话去找负责服务器的人。

这时试一试jupyter notebook能不能print(5)如果可以输出5,就算成功了。注意此时你已经处于jupyter notebook的操作下了使用conda指令没有用了

需要清楚的是此时你走过的路线是服务器>>你自己的环境>>你环境中的jupyter notebook。

到这一步在服务器上使用vs code和jupyter notebook就算完成了,你可以直接远程在服务器实时的写代码了。但是此时你的环境中应该只有一个python内核,可以写一些python代码但是不适合深度学习任务的使用。


下面是为你服务器里的环境配置深度学习所需要的内容了。在终端按下ctrl+c退出jupyter notebook,确认此时是不是在你自己的环境下,即查看服务器名称前有没有你的自定义环境名称。

如果是,下面安装深度学习相关的包

pip install pandas -i https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
pip install matplotlib -i https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
pip install tensorflow -i https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

keras会和tensorflow一起装好的,numpy会和pandas一起装好。此时tensorflow应该装的是cpu版本,如果装gpu版本的tensorflow是另外教程的事了。

安装可以使用gpu的tensorflow可以参考以下链接

https://www.cnblogs.com/jshmztl/p/13306837.html

gpu版本需要同时匹配python版本,cudnn版本和tensorflow版本,很容易出错建议多看几篇教程,确定自己搞明白了再动手。

这样就基本完成了所有的配置了。即使参考此教程,中间也很有可能出现很多文中没有的小问题,多查查资料应该能解决。

vs code+jupyter notebook 远程连接深度学习服务器,并配置环境相关推荐

  1. 这绝对是你见过的最全深度学习服务器管理配置手册,学不会你打我

    这绝对是你见过的最全深度学习服务器管理/配置手册,学不会你打我 最近在配置服务器,遇到了不少问题,在此整理记录一下.主要是以下几个方面:多用户管理.服务器环境配置.Anaconda虚拟环境安装Tens ...

  2. jupyter notebook 远程连接调试实录

    最近使用了一下jupyter notebook搭配GPU服务器这套搭配,顿时打开了一个新天地,记录一下配置过程. 我一般把pythoner中搞机器学习数据分析的叫"科学家",区别于 ...

  3. 本地jupyter notebook远程连接服务器

    目的 远程服务器的jupyter不好操作,且想借助服务器的GPU来跑实验,故想用本地jupyter映射到服务器端进行调试等操作 自己情况:本地win10,服务器linux 配置步骤 服务器端: 1.安 ...

  4. 深度学习服务器,配置推荐来啦?

    深度学习的动机在于建立可以模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像.文本和声音等.深度学习通过学习一种深层非线性网络结构,只需简单的网络结构即可实现复杂函数的逼近,并展现了 ...

  5. 使用Jupyter Notebook远程连接服务器

    一.远程连接 首先在服务器端安装Jupyter Notebook并通过配置文件进行相应参数的设置,然后使用本地主机的浏览器远程访问. 参考博客:https://my.oschina.net/u/421 ...

  6. linux远程连接深度学习平台ssh/vcn

    Telnet和SSH Telnet和SSH服务只能实现基于字符界面的远程控制,也就是通过linux命令行与远程主机进行交互,可以通过sftp来与远程云盘/服务器交互进行数据的传输. 常见指令: sft ...

  7. 配置windows客户端远程登录深度学习服务器

    导师大手一挥给了块闲置的TitanX,加上毕业师兄留下的一台服务器级主机,花一天时间配了个深度学习环境出来. 实验室其他组有好几台这样的服务器.以前看人家测试代码都是自己电脑和服务器两头跑,心想这么搞 ...

  8. linux重启gpu_远程配置Ubuntu深度学习服务器GPU驱动+Docker+CUDA多个版本

    前言 首先说一下为什么建议使用docker来使用搭建深度学习服务器.其实网上很多人都写了如何搭建CUDA10.0 + cudnn8.5 , CUDA9.0 + cudnn7.5 等等,并且从Tenso ...

  9. ubuntu22.04安装rocm教程,AMD深度学习,6800xt配置pytorch、CUDA(已更新)本地安装torch

    官方文档 对应torch下载地址 ROCm安装配置踩坑 遇到的问题 安装ubuntu系统更新内核,但是在win和Ubuntu双系统的前提下(可能)导致内核更新不成功,我安装成功的内核是5.13.39. ...

最新文章

  1. 安装ubuntu时将boot目录单独挂载的意义
  2. 罗辑思维:情怀还是生意?
  3. linux分区dh满了,python 在linux下能过top,和dh命令获得cpu,内存,以及硬盘信息 - Sprite...
  4. redis中的五种基本的数据结构
  5. 乙肝相关药物服用信息汇总
  6. javascript控制台_如何使用JavaScript控制台改善工作流程
  7. 前端学习(1181):vue语法模板
  8. Android控制EditText的焦点
  9. python 遍历矩阵_Python3算法之十:矩阵旋转
  10. centos 安装mysql-proxy_详解在Centos 5.2下安装最新Mysql Proxy LUA教程
  11. 输入字符串按照单词逆序输出
  12. 13 集成测试之自顶向下集成测试方法
  13. Java之父詹姆斯•高斯林趣闻
  14. N卡自带录屏软件geforce 双屏录制问题
  15. KGB知识图谱通过知识校验完成企业的风险审核
  16. android拍照保存照片方向,android 拍照的照片方向问题,读取图片EXIF信息
  17. codeforces1492 D. Genius‘s Gambit python
  18. C#之WinForms入门
  19. 集散控制系统是集计算机技术,集散控制系统概述
  20. 学1个月爬虫就月赚6000?别被骗了,老师傅告诉你爬虫的真实情况

热门文章

  1. Conway常数是怎么得来的
  2. 小程序带参数二维码生成接口
  3. flutter 抖音无水印解析视频
  4. R语言使用rweibull函数生成符合威布尔(韦伯分布)分布的随机数、使用plot函数可视化符合威布尔(韦伯分布)分布的随机数(Weibull Distribution)
  5. 解决Vue中的生命周期beforeDestory不触发的问题(用了keep-alive)
  6. vaspkit使用_vaspkit的使用
  7. 用低息借款或自有资金提前还清信用卡分期或其他高息分期是否划算?或者说当低息借款的利率低于多少,或者自有资金的收益率低于多少时,提前还清较高利率的贷款或分期才划算?
  8. 广西省百色市谷歌卫星地图下载
  9. 虚拟机内存不足的问题
  10. 数智工厂行业调研报告