深度学习环境搭建:linux下 Ubuntu16.04+cuda8.0+cudnn+anaconda+tensorflow并配置远程访问jupyter notebook
本文主要介绍了linux系统下深度学习系统的搭建,主要的安装思路如下:
linux系统安装:
首先安装当下热门的linux操作系统Ubuntu16.04,系统下载的链接如下:
https://www.ubuntu.com/download/desktop
(一)显卡驱动安装:
安装完系统后,安装1080ti的显卡驱动,可以在Nvidia的官网下载到驱动
下载完成后,把文件放在系统的默认文件夹下,作者把文件放在home下,nvidia官网的下载的界面如下:
然后进入linux的指令操作界面,首先我们关闭X-server,如果不关闭无法进行显卡驱动的安装,输入:
- sudo lightdm stop
sudo lightdm stop
然后安装刚刚下载完成的1080ti的驱动,假设你下载下来的文件名是:1080ti.run
- chmod +x 1080ti.run
- sudo ./1080ti.run
chmod +x 1080ti.run
sudo ./1080ti.run
这里注意:安装时会出现类似于“”安装用户须知“”的文档,一直按“”enter“”是没法跳过的,直接用“ctrl+c”跳过,然后输入“”accept“”
(二)CUDA安装:
在安装CUDA前,需要对ubuntu的GCC进行降级,否则CUDA无法编译通过,我第一次安装就是因为GCC未降级,跑mnist时未能调用GPU运行。具体参见如下链接:
http://www.cnblogs.com/xujianqing/p/6142963.html
软件安装
为了加速训练时的速度,接着我们进行cuda和cudnn的安装,进入nvidia的官网,下载cuda,作者选择的配置如图所示:
如果你的文件名为:cuda_8.0.61_375.26_linux.run
那么进入命令行界面,输入:
- chmod +x cuda_8.0.61_375.26_linux.run
- sudo ./8.0.61_375.26_linux.run
chmod +x cuda_8.0.61_375.26_linux.run
sudo ./8.0.61_375.26_linux.run
同样会出现之前的“”安装用户须知“”,按下“”ctrl+c跳过“”
为CUDA添加环境变量:
- sudo gedit ~/.bashrc
sudo gedit ~/.bashrc
- export PATH=/usr/local/cuda-8.0/bin:$PATH
- export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH
export PATH=/usr/local/cuda-8.0/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH
- sudo gedit /etc/profile
sudo gedit /etc/profile
在打开的文件中输入:
- export PATH=/usr/local/cuda/bin:$PATH
export PATH=/usr/local/cuda/bin:$PATH
- <pre></pre>
- <pre></pre>
- <pre></pre>
- <pre></pre>
- <pre></pre>
- <pre></pre>
- sudo gedit /etc/ld.so.conf.d/cuda.conf
sudo gedit /etc/ld.so.conf.d/cuda.conf
在打开的文件末尾加上一行保存:
- /usr/local/cuda/lib64
/usr/local/cuda/lib64
(三)CUDNN安装:
然后进行解压,并将文件覆盖到指定目录,具体操作如下,作者使用的是cuda6.0,
不同版本的cudnn需要进行对应的更改,进入cudnn下载的目录,然后:
- tar xvzf cudnn-8.0-Linux-x64-v5.1.tgz
- sudo cp cuda/include/cudnn.h /usr/local/cuda/include
- sudo cp cuda/lib64/libcudnn.so* /usr/local/cuda/lib64
- sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn.so*
tar xvzf cudnn-8.0-Linux-x64-v5.1.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn.so* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn.so*
- sudo ln -sf libcudnn.so.5.1.5 libcudnn.so.5
- sudo ln -sf libcudnn.so.5 libcudnn.so
- sudo ldconfig
sudo ln -sf libcudnn.so.5.1.5 libcudnn.so.5
sudo ln -sf libcudnn.so.5 libcudnn.so
sudo ldconfig
注意:作者这里最后使用的时CuDNN5.1的版本,但操作方式相同,原因会在后面详细说明
(四)Tensorflow安装:
anaconda安装:
和N卡相关的软件我们都已安装好,在安装tensorflow前,先进行科学计算库anaconda的安装。
本文是基于anaconda安装tensorflow的,在官网上下载对应的安装包,作者选择的是linux 64位 ,Python版本为2.7
安装完anaconda以后,使用conda命令在终端下新建一个tensorflow的环境,
输入指令后系统会自动下载所依赖的软件库
- conda create -n tensorflow python=2.7
conda create -n tensorflow python=2.7
tensorflow安装:
进入正题了,首先进入tensorflow的环境,输入:
- source activate tensorflow
source activate tensorflow
(这一步时配置tensorflow环境,tensorflow还未安装)
进入tensorflow环境后,开始安装tensorflow,输入:
- pip install tensorflow
pip install tensorflow
如果下载速度过慢,可以搭个梯子,在github上tensorflow的官网也可下载
安装完tensorflow后,在终端中进入python
测试
- python
- import tensorflow as tf
python
import tensorflow as tf
若没有报错,则安装成功
jupyter notebook安装:
在终端下显然不能够便捷地调试和编译深度学习程序,因此作者推荐安装jupyter notebook,同样地,打开终端,进入tensorflow环境,输入:
- pip install jupyter notebook
pip install jupyter notebook
安装完成后,在终端输入 jupyter noteook即可打开,记住要在tensorflow的环境下打开,因为我们是把jupyter安装在此环境下的。
(五)远程连接教程:
windows端:
登录到远程计算机后,输入账户和密码,就可以进入远程计算机的终端了(请先配置完linux端再进行此操作)
linux端
这里作者推荐这两篇博客,写的很详细,交叉阅览,很快能掌握:
解决了如何生成秘钥的问题:
http://blog.csdn.net/u013473520/article/details/50696771
解决了如果登陆失败,则有可能是服务器防火墙设置的问题
http://blog.csdn.net/bitboy_star/article/details/51427306
(六)总结一下安装思路:
(1)先安装linux操作系统,
(2)安装对应的显卡驱动,以及深度学习用的加速库CUDA和CUDNN。
(3)安装anaconda
(4)在tensorflow环境下安装tensorflow和jupyter notebook
(5)远程配置
(七)目前已知安装过程中遇到的问题汇总
(1)CuDNN版本选择
在配置CuDNN时,我一开始选择的版本是CuDNN6,但是因为我tensorflow中,整合的时cuda8.0+CuDNN5.1版本,因此在运行mnist时,会提示:
缺少cuda5.0,no such file or directory。解决这个问题有两个办法:
1.如果想使用6.0的CuDNN直接去github上面下载tensorflow的源码,使用bazel进行编译,具体可以参考这篇使用bazel编译tensorflow的教程:
http://blog.csdn.net/zhaoyu106/article/details/52793183/
2.在nvidia的网站上下载CuDNN5.1版本,按照(三)中的流程重新覆盖安装
(2)配置SSH远程访问 如果按照(五)中配置完jupyter notebook的远程访问还不能访问,一种原因是因为没有安装SSH server,这里给出安装ssh server的网址:
https://jingyan.baidu.com/article/9c69d48fb9fd7b13c8024e6b.html
有很详细的linux端配置ssh教程和如何在windows端连接的教程
(3)启动流程
linux端:按下启动键,windows端:打开putty,远程访问linux主机,启动tensorflow环境,启动jupyter notebook,在浏览器中打开jupyter notebook。此时运行mnist例子是没有问题的。给出一个mnist例子的链接:
- nvidia-smi
nvidia-smi
2.如果在linux上的下载速度太慢,可以在windows搭梯子,提前把tensorflow和numpy等安装包下载好,然后直接pip install下载的文件就可以了。
此外,对linux操作系统不熟悉的读者,安装过程中可能会出现很多问题,因此我推荐一些我安装时查阅的博客和网站,其次大家可以把遇到的问题放在百度里面搜索,搭建环境这类的博客文章很多。
参考文献:
cuda添加环境变量:http://blog.csdn.net/Tcorpion/article/details/52740920
极客学院的tensorflow安装指南:http://wiki.jikexueyuan.com/project/tensorflow-zh/get_started/os_setup.html
和本文类似的安装tensorflow的指南,可以交叉阅读:http://blog.csdn.net/dabokele/article/details/53013921
CUDA安装时,如果GCC的降级,和CUDA samples的运行可以参考:http://www.linuxidc.com/Linux/2017-01/139320.htm
python的官网也有tensorflow-gpu的whl包,下载完成后用pip命令安装即可https://pypi.python.org/pypi/tensorflow-gpu
- 顶
- 0
- 踩
- 0
- 上一篇win7系统 深度学习环境 anaconda+tensorflow+jupyter notebook轻松搭建
- 下一篇基于ubuntu16.04下anaconda中tensorflow环境的目标检测API安装
- • Ubuntu16.04+1080下配置Tensorflow
- • Python全栈工程师入门指南
- • 【20170630】TensorFlow与python学习(1)-安装
- • 自然语言处理在“天猫精灵”的实践应用--姜飞俊
- • ubuntu16.04下cuda8.0+cudnn5.1+tensorflow安装
- • Vue2.x基本特性解析
- • Ubuntu16.04安装CUDA+cuDNN+GPU版TensorFlow过程记录
- • 程序员都应该掌握的Git和Github实用教程
- • Ubuntu16.04+Anaconda 安装GPU版本tensorflow
- • 深度学习项目实战-人脸检测
- • win10下硬盘安装ubuntu16.10(一定能成功安装)
- • Shell脚本编程
- • 远程访问jupyter notebook
- • jupyter notebook下提示Couldn't open CUDA library libcudnn.so的解决办法
- • 【数据挖掘面经】腾讯+百度+华为(均拿到sp offer)--转
- • TensorFlow笔记(一)--ubuntu系统安装TensorFlow
深度学习环境搭建:linux下 Ubuntu16.04+cuda8.0+cudnn+anaconda+tensorflow并配置远程访问jupyter notebook相关推荐
- 【深度学习环境搭建<二>】CUDA和 cuDNN 的安装
0x00 前言 上一篇中我们介绍了深度学习环境搭建的第一步:NVIDIA驱动的安装.现在车的轮子有了,接下来就要来搭建车的车身了,也就是今天的主角:CUDA 和 cuDNN, 它是我们程序和驱动之间的 ...
- 一文掌握Ubuntu20.04深度学习环境搭建(显卡驱动、CUDA、CUDNN、NCCL、Pytorch、PaddlePaddle)
目录 一.Ubuntu系统安装 1.1 制作U盘镜像并安装 1.2 安装make.g++.cmake 1.3 安装中文输入法 1.4 安装VS Code 二.深度学习环境安装 2.1 切换Python ...
- Ubuntu16.04 +cuda8.0+cudnn+opencv+caffe+theano+tensorflow配置明细
本文为原创作品,未经本人同意,禁止转载,禁止用于商业用途!本人对博客使用拥有最终解释权 欢迎关注我的博客:http://blog.csdn.net/hit2015spring和http://www.c ...
- 深度学习环境配置Ubuntu16.04+CUDA8.0+CuDNN+Anaconda2+openCV2.4.9+caffe(全离线GPU版)
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/Bernice_lying [前言] 深度学习燎原之势势不可当,现在很多现场使用深度方法的比赛需要自行 ...
- Ubuntu16.04+cuda8.0+GTX TITAN X安装配置
安装环境 显卡型号:Nvidia GeForce GTX TITAN X(pascal) 系统:ubuntu16.04 1.给出cuda下载地址(含历史版本): https://developer.n ...
- Ubuntu16.04+CUDA8.0+cudnn v5.1+opencv3.1(2.4.10)+caffe+GTX 1080Ti 机器配置记录
从暑假就开始装环境,一路踩坑,终于忍不了了决定在博客上记录一下,方便自己查看,也希望能帮到遇到同样问题的朋友. 2017.11.23: caffe又不能训练了,怀疑是之前为了提取光流把opencv版本 ...
- 保姆级教程——Ubuntu16.04 Server下深度学习环境搭建:安装CUDA8.0,cuDNN6.0,Bazel0.5.4,源码编译安装TensorFlow1.4.0(GPU版)...
写在前面 本文叙述了在Ubuntu16.04 Server下安装CUDA8.0,cuDNN6.0以及源码编译安装TensorFlow1.4.0(GPU版)的亲身经历,包括遇到的问题及解决办法,也有一些 ...
- Ubuntu16.04深度学习环境搭建
Ubuntu16.04深度学习环境搭建(anaconda3+cuda10.0+cudnn7.6+pytorch1.2) 文章目录 Ubuntu16.04深度学习环境搭建(anaconda3+cuda1 ...
- win10下双硬盘做深度linux,win10+ubuntu18双硬盘双系统安装记录+深度学习环境搭建...
工作需要,在已经预装了Windows10的工作站,需要再安装ubuntu.因为工作站本身有两块硬盘,所以准备空出一个装ubuntu,这样两个系统互不干扰,不使用对方的硬盘空间.工作站装里有两块Nvid ...
- springcloud学习笔记---环境搭建--Linux下jdk安装
springcloud学习笔记-环境搭建–Linux下jdk安装 1.官网下载jdk1.11 链接: https://pan.baidu.com/s/1vZ4PoJAnwczkRICfCNKHAA 提 ...
最新文章
- TCP/IP网络的一些问题(路由/协议/linux的实现)
- 中兴c600olt数据配置_中兴上架Blade 20smart孝心版
- html5中的新标签
- 深度学习笔记 第四门课 卷积神经网络 第四周 特殊应用:人脸识别和神经风格转换...
- C#容量超出了最大容量。
- 解决: 网站访问报错 AccessDenied (阿里云 OSS + CDN )
- 清理神器CleanMyMac X 空间透镜——可视化您的磁盘空间
- C语言 - printf的占位符(%) 异常
- java一行输入多个数据类型_Java中的3种输入方式实现解析
- Centos之常用命令
- python中质数的表达方式_python求质数的3种方法
- wow mysql dbc_WoW的DBC文件内容描述-魔兽有爱论坛 - 一个魔兽世界爱好者的聚集地 uiwow.com - Powered by Discuz!...
- 从Slice_Header学习H.264(三.2)--相关细节之 参考图像列表
- 一个简单的数字幸运抽奖小程序
- WPS2019专业版办公软件安装包+永久授权码!
- 华为5大设计师讲述HarmonyOS UX设计背后的故事
- 想学python但是有好多英文不认识?python常用英文单词都在这
- Kettle Carte模式
- java打字训练课程设计_JavaFX+Java打字练习软件(布局篇)
- 区域和检索 - 数组不可变(前缀和)