深度学习环境配置_ubuntu18及以上
总体步骤
本文适用于 ubuntu18.04 及以上
因个人需求不同， 本篇博客只介绍前 安装前 6个步骤， 后面根据个人需求自行安装；
- 升级内核 ubuntu ( 系统安装好过后， 先当前系统的);
- chrome 浏览器；
- nvidia-drivers
- cuda,
- cudnn；
- anaconda;
- chinese pinyin
- clash ;
- pycharm;
- clion;
- BootNote_local;
- pytorch(1.7.1); torch 1.1x（SPyder）
- TF 2.5;
1. 升级ubuntu内核 ubuntu
这里以 ubuntu 18.04 为系统；
首次安装后该系统后， 先打开software Updater , 将当前系统的5.4.0-110-generic内核版本更新到最新的，
这样做的目的， 是为了防止系统后续自己更新时， 导致nvidia_driver 的自动丢失；
2. 安装 chrome 浏览器；
sudo dpkg -i google_XXX_amd64.deb
3. nvidia-drivers
https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#title-resolved-issues 在这个网站上，查看 cuda 版本对 nvidia-drivers 驱动版本的最低要求;
在安装 nvdia-drivers , cuda, cudnn 这三个之前， 先确定好两件事情；
自己的电脑配置对应上面nvidia-drivers 驱动版本；
nvdia-drivers , cuda, cudnn这三个版本兼容关系；
3.1 确定自己的显卡型号
这里以 RTX 2060 为例，终端中，输入
lspci | grep -i vga
如果，笔记本正常会有两个；分别是intel 的核显和 Nvidia 的独显
在这个网站中输入，The PCI ID, 会查询到自己的显卡型号；
3.2 下载显卡驱动
https://www.nvidia.cn/geforce/drivers/登录该网站， 下载对应的显卡驱动；
3.3 禁用nouveau 驱动
禁用ubuntu18 自带的第三方的开源驱动程序nouveau 驱动；
- 输入以下命令， 查看 nouveau 是否存在, 如果输出多项内容，表示启用了 nouveau;
lsmod | grep nouveau
- 禁用 第三方的开源驱动程序
nouveau，
sudo gedit /etc/modprobe.d/blacklist.conf # 打开文件，在最后添加如下两行：blacklist nouveau
options nouveau modeset = 0
- 更新系统配置
sudo update-initramfs -u
- 重启系统， （required）
sudo reboot
- 验证是否禁用成功
lsmod | grep nouveau
# 如果没有输出，表面禁用成功；
3.4 安装nvidia-driver驱动
该驱动的安装， 使用到了 gcc, make 这两个工具， 故先安装好这两个；
sudo apt install gcc
sudo apt install make
- 在ubuntu下按ctrl+alt+f5 ( f1~ f10 之间，各个PC 不同，退出时按ctrl+alt+f1 )进入命令行界面：
此时需要login：电脑账户名称，password：密码，登录到命令行界面。
sudo service lightdm stop//这个是关闭图形界面，必须关闭sudo apt-get remove nvidia-*//卸载系统中存在的驱动，默认有安装的，一定要执行这个chmod +x NVIxxxxx给文件赋予可执行权限。` sudo ./NVIDIA-Linux-x86_64-xxx.run -no-x-check -no-nouveau-check -no-opengl-files ，
其中：
-no-x-check：安装驱动时关闭X服务
-no-nouveau-check：安装驱动时禁用nouveau
-no-opengl-files：只安装驱动文件，不安装OpenGL文件
以下为安装过程：
1、he distribution-provided pre-install script failed! Are you sure you want to continue?
选择 yes 继续。2、Would you like to register the kernel module souces with DKMS? This will allow DKMS to automatically build a new module, if you install a different kernel later? 选择NO继续3、Would you like to run the nvidia-xconfigutility to automatically update your x configuration so that the NVIDIA x driver will be used when you restart x? Any pre-existing x confile will be backed up.
选择 Yes 继续
————————————————安装成功后，在命令行输入：
sudo service lightdm start//重启图形界面， 按Ctrl+Alt+F1返回图形界面终端中输入
nvidia-smi， nvidia-setting//检测是否安装成功
注意: 如果稍后或者第二天， 重启电脑时， 出现循环登录的情况， 或者是输入密码后，卡在紫红色界面时，无法显示桌面环境时；
这是因为ubuntu对显卡的支持有关，由于内核与NVIDIA显卡驱动出现问题，使得启动的时候，无法代用NV显卡，造成了上述现象。
此时，请不要重新安装系统， 你之前所做的努力并没有白费；
循环登录， 或无法进入桌面， 参考这里
具体讲来， 执行下面三步骤即可
1. 进入 advance ubuntu 中， 使用5.4.0.-42 内核进入系统，注意到刚刚是在5.4.0-90 上安装的nvidia-driver.
如果没有之前的内核可以选择的话，直接进入 tty 文本界面，进行操作；3. sudo rm /etc/X11/xorg.conf 4. sudo reboot
假如，过了一段时间， 系统在你不知道的时候，又更新出了新的内核； 也会出现上述情况；
解决方式：
sudo vim /etc/default/grub
修改如下，内容：
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"
#修改为：
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash nomodeset"
4. cuda 安装
下载 cuda 版本 https://developer.nvidia.com/cuda-10.2-download-archive
4.1 cuda 版本选择
这里以 cuda 11. 2 版本， 安装在 ubuntu 18.04;
需要说明的是：
cuda10.2 版本, 将是Pytorch长期维护的一个 cuda版本；
所以使用Pytorch 的，可以安装这个版本；
当然, 电脑上可以同时安装两个版本的
cuda,使用的时候,对其版本软链接切换，
具体方式,请自行搜索；
此外，由于(RTX 3090 for cuda --version >= 11.1) TensorFlow 2.5 需要 cuda11.2 版本的支持， 故这里先安装
cuda 11.2 ;
4.2 安装步骤
- 给文件赋予执行权限，然后执行
sudo chmod +x cuda_11.2.3_450.51.06_linux.run
sudo ./cuda_11.2.3_450.51.06_linux.run
# 如果有协议，输入accept就行
- 去除
nvidia-driver的勾选， 需要把Driver给去掉，否则会报错。因为已经装了 Nvidia -Driver了，所以再次安装会起冲突;
4.3 配置环境变量
我们要让shell识别到cuda，需要在环境变量中加入对应路径变量。
注意安装成功后的提示：
Please make sure that:
- PATH ...
- LD_LIBRARY_PATH ...
使用gedit修改.bashrc文件。
sudo gedit ~/.bashrc
在最后一行加入路径：export PATH="/usr/local/cuda-11.2/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda-11.2/lib64:$LD_LIBRARY_PATH"
保存之后，为了使这个修改立即生效，还需要输入如下代码（如果不执行 source 命令，则需重启系统才能生效）：
4.4 更新环境变量
source ~/.bashrc# 新打开一个终端，输入
nvcc -V
4.5 安装多个版本 cuda
- 如果在之前的基础上，再安装一个另一版本的
cuda, 比方说这里在另外安装一个cuda10.2,
安装过程中，会自动更细cuda 的软链接。
, - 之后，更新环境变量中的配置
~/.bashrc，
使用gedit修改.bashrc文件。
sudo gedit ~/.bashrc
在最后一行加入路径：export PATH="/usr/local/cuda-11.2/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda-11.2/lib64:$LD_LIBRARY_PATH"
将其中的cuda11.2 版本切换成 ｀cuda10.2
然后更新， 环境变量。
source ~/.bashrc# 新打开一个终端，输入
nvcc -V
解释一下shell，环境变量和路径变量这三个名词。
Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。换句话说，Shell是Linux/Unix的一个外壳，它负责外界与Linux内核的交互，接收用户或其他应用程序的命令，然后把这些命令转化成内核能理解的语言，传给内核，内核是真正干活的，干完之后再把结果返回用户或应用程序。
环境变量是当前环境下的参数或者变量，或者说是指在操作系统中用来指定操作系统的一些参数。
路径变量(PATH)是最常见的环境变量。
它的用途就是当用户要求系统运行一个程序而没有告诉它程序所在的完整路径时，系统除了在当前目录下寻找此程序外，还要到PATH变量中指定的路径去寻找。用户可以通过设置PATH变量，来更方便地运行进程。例如，当我们在windows中将Python安装好后，如果直接在CMD中输入 python，它会提示：“Python不是内部或外部命令，也不是可运行的程序或批处理文件。”这时候我们就需要将Python中bin目录的路径加入到PATH变量中去。（如果你没有出现这个错误，说明安装程序已经自动帮你添加了路径变量。）[2]
那么问题来了，在Linux中如何配置路径变量呢？
Linux下配置环境变量最常用的两种方法：修改 ~/.bashrc或 /etc/profile。
~/.bashrc:该文件包含专用于某个用户的bash shell的bash信息，当该用户登录时以及每次打开新的shell时,该文件被读取。
另外，/etc/profile中设定的变量(全局)的可以作用于任何用户，而~/.bashrc等中设定的变量(局部)只能继承/etc/profile中的变量。
5. install cudnn；
cuDNN是基于CUDA的深度学习GPU加速库，有了它可以在GPU上完成高效的深度学习计算；
https://developer.nvidia.com/rdp/cudnn-archive
在该网站上 找到cuda对应版本的cudnn 下载， 如果下的是 .deb 格式， 参考这里安装；
5.1 替换自己版本
Before issuing the following commands, you’ll need to replace X.Y and 8.x.x.x with your specific CUDA and cuDNN versions.
下面的命令，注意替换成，自己的对应版本序号
5.2 cudnn安装指令
sudo dpkg -i libcudnn8_8.1.1.33-1+cuda11.2_amd64.deb
sudo dpkg -i libcudnn8-dev_8.1.1.33-1+cuda11.2_amd64.deb
sudo dpkg -i libcudnn8-samples_8.1.1.33-1+cuda11.2_amd64.deb
5.3 测试 cudnn
$ cp -r /usr/src/cudnn_samples_v8/ $HOME
$ cd $HOME/cudnn_samples_v8/mnistCUDNN
$ make clean && make
- 如果
make时， 出现nvcc fatal : Failed to preprocess host compiler properties.
sudo apt-get install build-essential
- 出现如下错误，
`test.c:1:10: fatal error: FreeImage.h: No such file or directory#include "FreeImage.h"执行如下命令：sudo apt-get install libfreeimage3 libfreeimage-dev
4. 执行 ./mnistCUDNN`
until you see the Test passed!
6. 安装 anaconda;
下载
Anaconda3.sh安装包，bash Anaconda3.sh
...
installation finished.
Do you wish the installer to prepend the Anaconda3 install location
to PATH in your /home/sammy/.bashrc ? [yes|no]
[no] >>> 选择 yes;
- 在
.bashrc中更新 anaconda 的配置；
source ~/.bashrc
# 新开一个终端中， 输入 conda list # 检测是否安装成功；
- 取消开启终端， 自动进入
base环境；
conda config --set auto_activate_base false
- 如果需要 更新当前
Anaconda3.sh版本， 使用
conda update --all
- 新建一个虚拟环境
conda create --name torch1.7.1 python=3.7
7. 中文输入法
7.1 自带中文输入法
最近， 2022 .06 ～07 ; 最新版本 4.0 版本输入法的安装 出现一些问题，
故暂时，放弃使用搜狗拼音， 选择，系统自带的中文输入法；
重启电脑之后，可以看到中文输入法已经存在了，点击选择即可使用了，输入法看上去停像 sunpinyin，不管它了。
另外，Ubuntu20.04英文系统，中无法安装中文智能拼音输入法
问题原因：可能是因为系统中没有SCIM（智能通用输入法平台）只需要安装上即可：
sudo apt install scim
如果要使用搜狗的话选择输入方式时请选择 XIM 方式。
7.2 sougou pinyin
- 卸载 ibus
sudo apt-get remove ibus
sudo apt-get purge ibus
- 安装 fcitx 输入法
sudo apt install fcitx-table-wbpy fcitx-config-gtk
im-config -n fcitx
sudo apt install fcitx
# 必须重启电脑
sudo reboot
- 修复缺失或者损害的包
sudo apt-get install -f sudo dpgk -i sogou_xxx_amd64.deb- 然后在
setings-->Region & Language勾选fcitx
- 在右上角出现一个键盘标志，点击进入，选择
Configure Current Input Method
点击加号， 加入 搜狗拼音， 这里尤其需要注意的是，sogoupinyin不能放在第一位， 放在第一个的应该是英文；
8. pycharm;
- 下载pycharm.tar.gz 压缩包， 将其放置到
/opt路径下， 并对其解压； - 进入到
pycharm-2020.1/bin/pycharm.sh，
sh pycharm.sh
- 创建 桌面快捷键
1.进入pycharm后点击"tools"
2.点击"Create Desktop Entry..."
3. 重启 pycharm
想使用专业版，如果你是在校生，并且学籍在线， 登录学信网， 下载你的学籍证明；
Jetbrain公司会给你在学籍的每一年中，申请免费使用的权力；
9.pytorch(1.7.1);
安装 pytorch 1.7.1
先激活相关环境， 在该环境中安装：
conda activate torch1.7.1pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2
由于网速原因，可以登录网页上，进行自行下载， 然后在使用 pip install 安装；
登录该网页 `ctrl+f` 定位自己想要的文件；
https://download.pytorch.org/whl/torch_stable.html
注意， 发现一个很神奇现象：
在 pycharm 的终端中， 使用 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 与
ubuntu 中 使用同样的命令，
前者的网速会快很多倍！！！ 这是什么原因呢？
torch 1.1x（SPyder）
10. TF 2.5;
11. clion;
12. Boost-Note_local;
在 github 中搜索 boost-note-local;
下载 .deb 版本；
2. sudo dpkg - xx.deb
13. clash ;
有需求的请自行查阅；
深度学习环境配置_ubuntu18及以上相关推荐
- ubuntu系统(八)：ubuntu18.04双系统安装+ros安装+各种软件安装+深度学习环境配置全家桶
0 说明 1.安装ubuntu18.04系统 1.1 ubuntu18.04镜像地址(可以用迅雷等下载): 1.2 下载Rufus: 1.3 制作镜像: 1.4 磁盘分区 1.5 关闭win11快速启 ...
- 深度学习环境配置指南！（Windows、Mac、Ubuntu全讲解）
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货 作者:伍天舟.马曾欧.陈信达 入门深度学习,很多人经历了从入门到放弃的心 ...
- 深度学习环境配置指南：Pytorch、TensorFlow、Keras
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 作者丨Yukyin@知乎 来源丨https://zhuanlan.z ...
- 【深度学习】相当全面的深度学习环境配置指南！（Windows、Mac、Ubuntu全讲解）...
作者:伍天舟.马曾欧.陈信达 入门深度学习,很多人经历了从入门到放弃的心酸历程,且千军万马倒在了入门第一道关卡:环境配置问题.俗话说,环境配不对,学习两行泪. 如果你正在面临配置环境的痛苦,不管你是W ...
- Docker教程-深度学习环境配置
最近在知乎上刷到一篇文章,标题很有意思叫<Docker,救你于「深度学习环境配置」的苦海>,感兴趣的可以去搜一下.那篇文章主要针对的是一个目前深度学习研究者的痛点:深度学习环境的配置.我在 ...
- 深度学习多卡配置_RTX 3080深度学习环境配置
找资料的时候感觉现在写30XX系显卡深度学习环境配置的文章还不太完善,所以记录了自己的采坑经历. Why? 下面这张图非常直观,TITAN性能比2080ti强,3080的CUDA核心数差不多是TITA ...
- 基于cuda10.0的pytorch深度学习环境配置
基于cuda10.0的pytorch深度学习环境配置(报错解决) 1.首先查看自己nvidia 显卡的版本,一般都能适用cuda10.0: 1.打开win+s 搜索nvidia控制面版,查看系统信息 ...
- 深度学习环境配置10——Ubuntu下的torch==1.7.1环境配置
深度学习环境配置10--Ubuntu下的torch==1.7.1环境配置 注意事项 一.2022/9/18更新 学习前言 各个版本pytorch的配置教程 环境内容 环境配置 一.Anaconda安装 ...
- 深度学习环境配置避坑-CUDA11.0+DGL1.8
深度学习环境配置避坑-CUDA11.0+DGL1.8 参考教程 坑1:CUDA版本与GPU型号不符 参考教程 之前已经写过详细的CUDA+Pytorch+DGL安装博文了,Linux系统可参考这里,W ...
最新文章
- Eclipse（properties）插件：PropertyEditor在线安装
- Interview：算法岗位面试—11.06早上上海某智能驾驶科技公司(创业)笔试+面试之手撕代码、项目考察、比赛考察、图像算法的考察等
- 抖音计算机音乐你要我,抖音上很火的我要你快乐我要你快乐是什么歌？
- html不可选择的按钮,HTML功能无法使用按钮
- [MySQL FAQ]系列 -- 快速还原MyISAM表索引
- windows修改远程桌面RDP连接数
- Struts2知识点总结大全
- ORACLE 發送郵件（全）
- IDEA 打包、Spring Boot Maven plugin 打包可执行 Jar 程序
- 超简单的Matlab附加功能安装包的安装方法
- java scjp考试_通过Java认证 SCJP 考试之精辟总结
- 【JAVA问题解决方案】01.EasyExcel导出数据超过Excel单表上限解决方案
- 在线rar压缩包解密软件，忘记rar压缩包密码如何找回？
- 掌握这6个可视化图表，小白也能轻松玩转数据分析
- 淘客订单检测接口--检测淘宝订单是否是淘客订单的接口
- 小程序下拉刷新没有响应
- SAP GUI登陆系统报Validity of certificate from list with PSE type ＞SSL错误弹窗
- 微信客户端如何发只有纯文字 不带图片的朋友圈动态
- Jikes 研究虚拟机（RVM）二 JVM 的组织
- 微软遥测服务服务器,使用 .REST 配置 Azure 媒体服务遥测 | Microsoft Docs