在离线服务器上创建深度学习虚拟环境
在离线服务器上创建深度学习虚拟环境
- 一、安装虚拟机
- 1.虚拟机软件和Ubuntu下载链接
- 2.注意事项
- 二、Linux平台下Anaconda虚拟环境配置
- 1. Anaconda安装
- 2. 配置自己所需的深度学习环境
- 3. 打包虚拟环境传送到服务器
- 三、使用Pycharm远程连接服务器
- 四、附赠:常用的conda虚拟环境相关命令
- 参考博客
前言:
- 有些学校的服务器只能采用内网的方式进行访问,无法访问外界的互联网,所以环境所需的配置文件大多只能采用U盘拷贝或者ssh内网传送。
- 但是直接在离线的服务器上创建虚拟环境可能会出现一些问题,所以直接在可访问外网的本地客户机配置好相关的环境,在将环境传输到服务器上进行使用。
适用范围:
- 安装虚拟机Linux教程
- Linux平台下的Anaconda虚拟环境配置
- 离线服务器环境创建等
一、安装虚拟机
虚拟机安装过程可以参考这篇文章vmware虚拟机安装Ubuntu全过程
如果觉得虚拟机比较麻烦,那么大佬可以直接使用Window10平台下的Linux子系统安装,本文以虚拟机为例。
1.虚拟机软件和Ubuntu下载链接
VMware workstation虚拟机的链接阿里云盘下载和Ubuntu18.04的下载链接
2.注意事项
1安装的第16步中,“虚拟化CPU性能计数器”可以不选,选了后续可能会出bug。
2安装完成后系统界面过小如何解决:
第1步:安装开源软件 sudo apt-get install open-vm-tools
第2步:第二步 : sudo apt-get install open-vm* ,安装后直接打开全屏即可。
若屏幕没有改变则重启一下即可。
3换源:换成国内源
第1步:vim /etc/apt/sources.list
第2步:在文本中添加下面的源链接
deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
第3步:apt-get update
以上为虚拟机Linux安装部分,遇到问题百度解决。
二、Linux平台下Anaconda虚拟环境配置
1. Anaconda安装
第一步:首先在指定目录下下载Anaconda的Linux版本,在该网页链接中寻找自己所需的Anaconda版本,终端如下:
#注释:这是下载Anaconda3-2020.11-Linux-x86_64.sh版本的举例
wget https://repo.continuum.io/archive/Anaconda3-2020.11-Linux-x86_64.sh
第二步:安装Anaconda
bash Anaconda3-5.0.1-Linux-x86_64.sh
第三步:检查Anaconda是否安装好
1. 打开终端输入:sudo gedit ~/.bashrc
2. 在打开的文档中输入:export PATH="/home/peng/anaconda3/bin:$PATH"
(上面的路径是自己的Anaconda装的路径,每个人不同,根据自己的环境情况进行比划)
3. 输入:source ~/.bashrc,令配置生效
4. 查看版本:conda --version
5. 输入python3,发现是Anaconda安装的版本
2. 配置自己所需的深度学习环境
- 方法:在本地客户机(个人PC)上联网配置深度学习环境,打包转移到目标服务器上。
- 个人建议:在这里我的想法是,程序可以先在本地微调,然后将程序所需要的环境直接打包,再到服务器当中去跑。在离线服务器上无法连接互联网装环境,所以不推荐在服务器上装环境。
第一步:创建虚拟环境,提供两个方法:
env_name 为自己定义的虚拟环境的名称
# 方法一:克隆一个环境 (优点是操作速度快,缺点是占用存储大)
conda create -n env_name --clone base
# 方法二:重新创建一个新环境(优点是占用存储小,缺点是需要手动装所需的第三方库,python版本自己指定)
conda create -n env_name python=3.8
# 激活环境:
conda activate env_name
第二步:安装所需要的库
备注:对于深度学习类的第三方库,不推荐直接conda install 或者pip install ,因为大概率会下到 cpu 版本的 torch,所以要先下载好whl文件进行下载,比如torch各个版本的下载界面torch各个版本的下载界面
# 下载好文件后
pip install torch-1.7.1+cu110-cp38-cp38m-linux_x86_64.whl
pip install torchvision-0.8.1+cu110-cp38-cp38m-linux_x86_64.whl
第三步:测试安装情况
python
>>> import torch
>>> torch.cuda.is_available()
True
3. 打包虚拟环境传送到服务器
第一步:然后将anaconda3/envs/env_name 进行打包
tar -cvf env_name.tar env_name/ #压缩虚拟环境
第二步:使用U盘或者ssh将压缩后的文件传输到服务器
第三步:将压缩包复制到服务器上的anaconda3/envs目录下,然后在这个目录下打开终端输入:
tar -xvf env_name.tar # 解压
第四步:在服务器上添加深度学习环境到环境列表,最后在目标计算机修改conda的环境配置文件 ~/.conda/envirement.txt在尾部添加拷贝的环境目录
终端输入:vim ~/.conda/env_name.txt
输入的内容如下:
# 结合服务器的实际情况填写
/home/peng/anaconda3
/home/peng/anaconda3/envs/env_name
第五部:使用conda env list检查环境是否创建成功,使用conda activate env_name激活环境后可通过具体程序测试具体程序包是否安装成功
三、使用Pycharm远程连接服务器
不在赘述,网上的教程比较多,推荐这一篇《pycharm远程连接服务器完整教程》
四、附赠:常用的conda虚拟环境相关命令
#创建虚拟环境
conda create -n your_env_name python=X.X(3.6、3.7等)#激活虚拟环境
source activate your_env_name(虚拟环境名称)#退出虚拟环境
source deactivate your_env_name(虚拟环境名称)#删除虚拟环境
conda remove -n your_env_name(虚拟环境名称) --all#查看安装了哪些包
conda list#安装包
conda install package_name(包名)
conda install scrapy==1.3 # 安装指定版本的包
conda install -n 环境名 包名 # 在conda指定的某个环境中安装包#查看当前存在哪些虚拟环境
conda env list
#或
conda info -e
#或
conda info --envs#检查更新当前conda
conda update conda#更新anaconda
conda update anaconda#更新所有库
conda update --all#更新python
conda update python
参考博客
- 离线搭建深度学习环境
- ubuntu系统离线搭建深度学习环境
- 2020-11-02-Ubuntu 20.04安装Anaconda3-卸载Anaconda3-笔记
- pycharm远程连接服务器完整教程
- vmware虚拟机安装Ubuntu全过程
在离线服务器上创建深度学习虚拟环境相关推荐
- 在谷歌云服务器上搭建深度学习平台
2018年9月8日笔记 登录谷歌云控制台需要科学上网,连接云主机不需要科学上网. 阅读此文并进行操作的前提是已经成功申请谷歌云的使用资格,并获得300美元使用金额. 如何申请谷歌云的使用,请阅读另外一 ...
- 研一小白记录第一次在实验室服务器上跑深度学习的代码全过程(实验室服务器上跑代码详细全过程哦)
你在服务器上跑过代码吗?哇~你跑过!是啥样的...每回见别人跑都会问并且羡慕会在大服务器上跑代码的哈哈哈在研究生刚开学前还甚至不知道什么是服务器,更是无法想象在除了自己能看得见摸得着的电脑屏幕之外跑代 ...
- 在服务器上进行深度学习
一.xshell常用命令 命令 用途 备注 ls 列出文件 cp 复制文件 mv 移动/重命名 rm 删除文件和目录 cd 更改目录 mkdir 建目录/删除目录 vi 编辑文件 i 编辑模式:esc ...
- 服务器上训练深度学习模型anaconda+cuda+cudnn+pycharm
这个最好: centos系统搭建深度学习环境_百度搜索 https://www.baidu.com/s?wd=centos%E7%B3%BB%E7%BB%9F%E6%90%AD%E5%BB%BA%E6 ...
- 如何在服务器上配置深度学习环境
最近做毕业设计,需要利用实验室的服务器,远超登录并且配置服务器环境.记录一下比较完整的配置流程. ssh远程登录与文件传输 我的电脑是windows的,主要讲解一下windows的登录方式.我使用的是 ...
- 在服务器上进行深度学习的入门教程
1.远程登录 Windows用户推荐使用Xshell 主机那里填上服务器IP,下面填一下端口号,然后点击连接,之后会让你输入用户名密码,输入之后就可以进入啦 2.GPU状态 进入之后可能大家最想关注的 ...
- 服务器上搭建深度学习模型运行环境:ubuntu
1.购买服务器 我买了腾讯云轻量级服务器,默认系统为CentOS 7.6,我重装成ubuntu18. 2. 搭建ubuntu可视化界面(没必要) 参考链接:搭建 Ubuntu 可视化界面 我在配置 V ...
- 如何在云服务器上跑深度学习的代码?(ResNet50为例)
✅ 个人简介:南京邮电大学,计算机科学与技术,在读本科 兴趣领域:数据结构.C/C++ 文章目录 一.选择一款云服务器 二.上传代码和数据 三.解压"代码和数据的压缩包" 四.训练 ...
- Linux上快速搭建自己的深度学习虚拟环境
一.服务器未连外网下如何搭建 找一台具有Linux操作系统的电脑,进行新的虚拟环境的搭建,然后将整个文件夹拷贝到服务器上,即可直接使用. 1.Windows系统上虚拟机的下载及安装 首先进入官网,下载 ...
最新文章
- 中key的用途_Micro Focus Operations Bridge Manager中的多个(RCE)漏洞
- 架构师之路 — 部署架构 — 高可用集群 — N+1 高可用模型
- JSTL学习笔记3-----URL相关标签的使用
- 时序数据-LSTM模型-实现用电量预测
- 行业人士谈悄然成功的《星际战甲》所带来的启示
- 学生信息链表,建立,插入,删除,遍历,查找,修改,最大(小)值,平均...
- FlashMapManager
- 手机开发与测试的Firefox插件:User Agent Switcher
- 『PyTorch』第十五弹_torch.nn.Module的属性设置查询
- [转]ubuntu系统瘦身-清理系统垃圾文件
- Xna游戏编辑器开发(WinForm内嵌Xna)
- 用Java编写的简单手绘程序--原创
- CH341A BIOS编程器 预安装成功 但无安装成功
- python贡献度分析以及相关性分析小例子
- 图形学人物简史:两位图灵奖与奥斯卡得主的图形学研究往事
- 王逸凡的十万个为什么
- 2019年10月计算机系统结构答案,2019年计算机系统结构复习题.doc
- 计算机论文一千五,1.论文字数不够,正文要五千字,至少增加1000,但不要抄袭.DOC...
- Word编辑公式 下划线取消自动套用格式 下划线不转义
- 码农学技术————六个月学习python全栈【Day08】
热门文章
- H.266/VVC变换量化部分内容总结
- Windows Terminal 使用管理员身份创建标签页
- 哪篇论文宣布了 HTAP 数据库的诞生? | StoneDB学术分享会#5
- 2022跨境出海:东南亚电商市场现状及发展前景
- 可变车道怎么走不违章_可变车道不敢走?老司机教你正确的行驶方式,再也不怕违章了...
- 浪潮服务器5112面板灯_浪潮SA5112M4:如何用“减法”打造极致服务器?
- 作为管理者,应不应该认错?
- java 反射获取字段field
- CentOS7-快速查看系统日志
- Raspberry Pi球跟踪机器人使用处理