cuda, cudnn的升级，各种深度学习库的安装

新版本的tensorflow和keras已经要求cudnn v6了，并且将来会升级到cuda9 和 cudnn7。 cudnn7最大的特点是支持group convolution, 这里原先的环境是cuda8，将cudnn v5.1升级到 cudnn v6.0.21 [更新中]

（cudnn的升级内容转载自点击打开链接）

1. cuda, cudnn升级

Nvidia-cudnn官网
https://developer.nvidia.com/cuDNN
注册一个nvidia帐号，最后通过邮箱激活
点击网页上的放大镜搜索cudnn
选择
cuDNN Archive | NVIDIA Developer
选择你要下载的v3或者v5版本
1、解压出一个名为cuda的文件夹，文件夹中有include和lib64两个文件夹
2、删除原来的cudnn

sudo rm -rf /usr/local/cuda/include/cudnn.h
sudo rm -rf /usr/local/cuda/lib64/libcudnn*

3、安装安装需要版本的cudnn，在终端cd到刚解压的cuda文件夹

sudo cp include/cudnn.h /usr/local/cuda/include/
sudo cp lib64/lib* /usr/local/cuda/lib64/

4、建立软链接（注意版本号换成你自己的） 注意：这一步应该在usr/local/cuda/lib64文件夹下完成

sudo chmod +r libcudnn.so.6.0.21
sudo ln -sf libcudnn.so.6.0.21 libcudnn.so.6
sudo ln -sf libcudnn.so.6 libcudnn.so     # 进行了三处链接跳转
sudo ldconfig

5、检测

cd /usr/local/cuda/lib64/
ll

会显示出你已经建立的软链接记录
至此，cudnn版本更新完毕

机器之心公众号的发布 https://mp.weixin.qq.com/s/4RZz2Fdr9StFPZ91Vs9djg

2. 各种深度学习库的安装配置

在搭建深度学习机器之后，我们下一步要做的就是构建完整的开发环境了。本文将向你解释如何在一台新装的 Ubuntu 机器上安装 Python 和 Nvidia 硬件驱动、各类库和软件包。

为了进行强化学习研究，我最近购置了一台基于 Ubuntu 和英伟达 GPU 的深度学习机器。尽管目前在网络中能找到一些环境部署指南，但目前仍然没有全面的安装说明。另外，我也不得不阅读了很多文档来试图理解安装细节——其中的一些并不完整，甚至包含语法错误。因此，本文试图解决这个问题，提供一个详尽的软件环境安装指南。

本文将指导你安装

操作系统（Ubuntu）
4 种驱动和库（GPU 驱动、CUDA、cuDNN 和 pip）
5 种 Python 深度学习库（TensorFlow、Theano、CNTK、Keras 和 PyTorch）

这些软件之间的互相依赖关系如下图所示。其中，你只需要安装一种深度学习库，请自由选择。

深度学习软件安装和依赖示意图

以下是各个软件的细节介绍：

Ubuntu（v16.04.3）——操作系统，各种任务处理。
Nvidia GPU 驱动（v375）——允许系统获得 GPU 带来的加速。
CUDA（v8.0）——GPU C 语言库。「计算同一设备架构」。
cuDNN（v6.0.21）——基于 CUDA 的深度学习基元库。「CUDA 深度学习库」。
pip（v9.0.1）——Python 安装包。「Pip 安装包」。
TensorFlow（v1.3）——谷歌开发的深度学习框架。
Theano（v0.9.0）——此前由 MILA 负责维护的深度学习框架。
CNTK（v2.2）——微软研究院开发的深度学习框架。
Keras（v2.0.8）——深度学习包装可互换后端。可与 TensorFlow、Theano 和 CNTK 共同使用。
PyTorch（v0.2.0）——可被 GPU 加速的动态图深度学习框架，主要由 Facebook 的研究人员负责开发。

1. 安装 Ubuntu 16.04.3

v 16.04.3 可由 USB 启动的方式安装，它是最新的 LTS（长期支持）版本。首次在电脑上启用时，请在 BIOS 中选择由 USB 引导启动。

我的电脑中有两块硬盘——一块 1TB 的 SATA 和一块 256GB 的 SSD。在我的设想中，Ubuntu 被安装在常规硬盘中，固态硬盘（SSD）用于处理数据集和加速训练。在安装过程中，在屏幕中的 Installation Type 中选择 Something else，随后我们要进行三个分区操作：

引导分区（128GB）：包含系统文件、程序设置和文档。
交换分区（2 倍的内存大小）：对于我来说这就是 128GB。这块分区的容量用于扩展 Kernel RAM 作为虚拟内存使用。
用户分区（剩下的部分）：1TB 的硬盘剩下的空间大约还有 744GB。

在安装后，最好先运行以下命令来升级内核版本。

sudo apt-get update
sudo apt-get upgrade

Reference：https://tutorials.ubuntu.com/tutorial/tutorial-install-ubuntu-desktop#0

2. 安装英伟达 GPU 驱动

在安装完 Ubuntu 后，你可能会发现屏幕的分辨率不对，而且不能修改，这是因为现在还没有安装 GPU 驱动。

安装驱动有两种方法：从 Ubuntu 资源库和数据源。第一个方法更加容易，但需要频繁的重新安装。使用 sudo apt-get update 和 sudo apt-get upgrade 指令后，系统的内核可以自动升级。但这样并不会更新英伟达驱动，可能会导致 GUI 无法正确加载。从数据源安装可以避免这个问题。

从安装包里安装 v375 驱动（简单的方法）

以下命令会将与你系统相兼容的驱动版本显示出来，它会提供两个版本号：最新的不稳定版和长期稳定版。版本号会从头列起，所以你需要把页面滚到最上面。

sudo add-apt-repository ppa:graphics-drivers/ppa

添加并安装资源库。通过第二个命令，改变你想要安装的<driver_number>。我们在这里推荐安装最新的长期稳定版本——375 版。

sudo apt-get update
sudo apt-get install nvidia-<driver_number>

重启计算机以重新配置视频输出。

sudo shutdown -r now

要测试驱动程序是否工作，Screen Display（SUPERKEY，屏幕显示类型）现在应该可以识别你使用的显示器了，你可以修改设置、分辨率与方向。

Reference：https://launchpad.net/~graphics-drivers/+archive/ubuntu/ppa

从英伟达网站安装 v384.90（较难的方法）

从英伟达网站下载最新的驱动程序版本。基于硬件配置，我选择的选项是：

GeForce -> GeForce 10 Series -> GeForce GTX 1080 -> Linux 64 bit -> English (UK)

可选条件：编译到 32 位架构和 GUI 的开发版本。

sudo apt-get install gcc-multilib xorg-dev

按 CTRL + ALT + F1 键登录，从 GUI 转至终端。为了重建视频输出，必须先将其暂停。

sudo service lightdm stop

如果命令行没有效果，Ubuntu 新版本使用 systemctl 替换 lightdm。然后使 runfile 可执行，并运行它。

cd <download location>
chmod +x NVIDIA-Linux-x86_64-384.90.run
sudo ./NVIDIA-Linux-x86_64-384.90.run --dkms

运行时，你可能会收到一条 pre-install script failed 信息。这没什么影响，因为预安装脚本包含命令 exit 1，其目标是确保你真的想安装驱动程序。

选项--dkms（默认开启）在 kernel 自行更新时将驱动程序安装至模块中，从而阻止驱动程序重新安装。在 kernel 更新期间，dkms 触发驱动程序重编译至新的 kernel 模块堆栈。

如果安装失败，则原因在于计算机的 BIOS 未关闭 Secure Boot。重启电脑，在 BIOS 选项中关闭 Secure Boot。

如果安装成功，则可以重启 GUI。

sudo service lightdm start

卸载：sudo ./NVIDIA-Linux-x86_64-384.90.run --uninstall

验证

确保以下命令能够识别正确的 GPU 版本

nvidia-smi

确保驱动程序版本号与你安装的一致

cat /proc/driver/nvidia/version

3. 安装 CUDA 8.0

从英伟达网站，使用下列系统属性下载 CUDA 的 runfile（地址：https://developer.nvidia.com/cuda-downloads）。

Linux -> x86_64 -> Ubuntu -> 16.04 -> .deb(network)

导航至.deb 文件的位置后，将该文件解压缩，更新软件包列表，使用下列命令安装 CUDA。

sudo dpkg -i cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64.deb
sudo apt-get update
sudo apt-get install cuda

将库添加至 bash path，这样就可以使用其他应用找到库了。

echo 'export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}' >> ~/.bashrc
source ~/.bashrc

验证时，使用 nvcc -V 确保 Nvidia C Compiler（nvcc）版本与 CUDA 的版本匹配。

重启电脑 sudo shutdown -r now，完成安装。

可选操作：测试 CUDA 安装

测试安装的一个方法是运行一些示例。以下命令行创建了一个存储示例程序的 test_CUDA 目录。

mkdir test_CUDA
cd test_CUDA
./cuda-install-samples-8.0.sh .

子目录 NVIDIA_CUDA-8.0_Samples/3_Imaging/cudaDecodeGL 中是 findgllib.mk 文件。该文件的第 61 行 30 列包含了英伟达驱动程序的硬编码值，该值应从 367 更改成你安装的驱动程序版本号。

编译示例

cd ../.. && make

你现在可以在 NVIDIA_CUDA-8.0_Samples 内随意运行示例。你可以在 NVIDIA_CUDA-8.0_Samples/bin/x86_64/linux/release 中找到两个非常有用的脚本：./deviceQuery 可以在使用过程中打印 GPU，./bandwidthTest 可以打印它的带宽。

Reference：http://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html

4. 安装 cuDNN 6.0.21

在英伟达网站上注册开发者项目，同意条款。从下拉菜单中选择 cuDNN v6.0.21 (April 27, 2017), for CUDA 8.0，并下载：

cuDNN v6.0 Runtime Library for Ubuntu16.04 (Deb)
cuDNN v6.0 Developer Library for Ubuntu16.04 (Deb)
cuDNN v6.0 Code Samples and User Guide for Ubuntu16.04 (Deb)

.deb 优先于.tar，因为.deb 格式更适用于 Ubuntu，可以进行更纯净的安装。使用下列命令安装这三个包：

sudo dpkg -i libcudnn6_6.0.21-1+cuda8.0_amd64.deb
sudo dpkg -i libcudnn6-dev_6.0.21-1+cuda8.0_amd64.deb
sudo dpkg -i libcudnn6-doc_6.0.21-1+cuda8.0_amd64.deb

测试 cuDNN

将已安装的示例复制到可读目录，然后编译并运行 mnistCNN。

cp -r /usr/src/cudnn_samples_v6/ $HOME
cd $HOME/cudnn_samples_v6/mnistCUDNN
make clean && make
./mnistCUDNN

如果一切顺利，脚本应该会返回一条 Test passed! 消息。

卸载 cudnn

使用以下命令卸载三个库。另外，如果你已经创建了样本，那么再加上 rm -r ~/cudnn_samples_v6。

sudo apt-get remove libcudnn6
sudo apt-get remove libcudnn6-dev
sudo apt-get remove libcudnn6-doc

Reference：cuDNN Installation Guide cuDNN Installation Guide（http://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html）

5. 安装 pip 9.0.1

Pip 的升级非常频繁，几乎每两周一次，建议使用最新版本的 pip。

请使用以下命令安装和升级最新版本的 pip。

sudo apt-get install python-pip python-dev
sudo pip install --upgrade pip

验证：请确保键入 pip -V 后可以打印出版本号。

6. 安装 Tensorflow 1.3.0

pip install tensorflow-gpu

验证：启动$ python，确认是否以下脚本能够打印出 Hello, Tensorflow!

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
print(sess.run(hello))

Reference：https://www.tensorflow.org/install/install_linux

7. 安装 Theano 0.10

Theano 需要的系统环境：

sudo apt-get install libopenblas-dev cmake git

此外还要遵循 Python 的系统需求。

sudo pip install numpy scipy nose sphinx pydot-ng pycuda scikit-cuda cython

libgpuarray 可以让 Theano 使用 GPU，它必须从源编译。首先下载源代码

git clone https://github.com/Theano/libgpuarray.git
cd libgpuarray

将其编译为一个名为 Build 的文件夹。

mkdir Build
cd Build
cmake .. -DCMAKE_BUILD_TYPE=Release
make
sudo make install

随后将其编译成一个 Python 包。

cd ..
python setup.py build
sudo python setup.py install

将下面一行添加至 ~/.bashrc，这样 Python 就可以找到库了。

export LD_LIBRARY_PATH=/usr/local/lib/:$LD_LIBRARY_PATH

最后，安装 Theano

sudo pip install git+https://github.com/Theano/Theano.git#egg=Theano

验证：创建测试文件 test_theano.py，其中的内容复制自：http://deeplearning.net/software/theano/tutorial/using_gpu.html#testing-theano-with-GPU

随后看看 THEANO_FLAGS=device=cuda0 python test_theano.py 在使用了 GPU 之后是否成功。

Reference: Theano 0.9.0 documentation（http://deeplearning.net/software/theano/install_ubuntu.html）

8. 安装 CNTK 2.2

sudo pip install https://cntk.ai/PythonWheel/GPU/cntk-2.2-cp27-cp27mu-linux_x86_64.whl

验证：输入 python -c "import cntk; print(cntk.__version__)"，输出 2.2。

Reference: Setup CNTK on your machine（https://docs.microsoft.com/en-us/cognitive-toolkit/setup-cntk-on-your-machine）

9. 安装 Keras 2.0.8

sudo pip install keras

验证：检查$ python 中的 import keras 是否成功。

Reference: Keras Installation（https://keras.io/#installation）

10. 安装 PyTorch 0.2.0

PyTorch 运行在两个库上： torchvision 和 torch，我们需要这样安装：

sudo pip install http://download.pytorch.org/whl/cu80/torch-
0.2.0.post3-cp27-cp27mu-manylinux1_x86_64.whl
sudo pip install torchvision

验证：以下脚本能够打印出一个带有随机初始浮点数的张量。

from __future__ import print_function
import torch
x = torch.Tensor(5, 3)
print(x)

Reference: http://pytorch.org/

结论

目前为止，整个过程中最难的部分是找出 Nvidia 驱动和深度学习包之间的依赖关系，以及最有效的长期安装过程。而最简单的部分是安装 Python，安装包和文档都得到了良好的维护。

原文链接：https://medium.com/@dyth/deep-learning-software-installation-guide-d0a263714b2