拒绝踩坑！源码编译 tensorflow 解决 cuda 不配套万金油方法

在使用tensorflow 的时候最头疼的问题就是跟cuda 之间的配套使用问题，加上Nvidia 新的 rtx 2080 ti 图灵架构目前官方声称只支持cuda-10, 以上版本，对于tensorflow 1.13.1 之下的版本是无法使用cuda-10的，很多项目是用老版本tensorflow 编写的，所以这有多蛋疼，用过的都懂。今天介绍源码编译 tensorflow ，使低版本 tensorflow 也能用高版本 cuda，解决高低搭配问题，其中编译的时候可以选 cuda 版本cudnn 版本，堪称万金油方法。

这里涉及到目前在做的项目，目前刚入手一块RTX 2080 TI 想把代码迁移过来，发现有问题，目前2080 ti 的图灵架构只支持 CUDA-10以上版本，之前的代码都是跑在 CUDA-9.0 上。耗时4天无数工程实践，加思考终于搞定，代码成功在RTX 2080 TI 上运行起来

Step 1 ：更新系统，安装相关依赖项

sudo apt-get update

Step2 ： 安装依赖库：

# for Python 2.7$ sudo apt-get install python-numpypython-dev python-pip python-wheel# for Python 3.x$ sudo apt-get install python3-numpy python3-dev python3-pip python3-wheel

Step 3 : Download NCCL 2.4.8

Download NCCL v2.4.8, for CUDA 10.0 https://developer.nvidia.com/nccl
Choose Local installer for Ubuntu 16.04

Step4: Install NCCL 2.3 （）

tar -xvf nccl_2.4.8–1+cuda10.0_x86_64.txz
cd nccl_2.4.8–1+cuda10.0_x86_64/
sudo mkdir /usr/local/cuda-10.0/nccl
sudo cp -R * /usr/local/cuda-10.0/nccl
cd /usr/local/cuda-10.0/nccl
mv LICENSE.txt NCCL-SLA.txt
sudo ldconfig

图中的版本号改为自己所用的版本为准

Step 5 :

Bazel 依赖于 JDK ，首先安装JDK

$ sudo apt-get install openjdk-8-jdk

安装bazel（apt）：

$ echo "deb [arch=amd64] http://storage.googleapis.com/bazel-apt stable jdk1.8" |  sudo tee /etc/apt/sources.list.d/bazel.list$ curl https://bazel.build/bazel-release.pub.gpg | sudo apt-key add -$ sudo apt-get update && sudo apt-get install bazel

安装bazel（binary installer）：

$ sudo apt-get install pkg-config zip g++ zlib1g-dev unzip python

Download bazel installer https://github.com/bazelbuild/bazel/releases

这里注意对于不同的tensorflow 版本要选择合适的bazel 版本，低版本tensorflow 对应低版本 bazel , 高版本tensorflow对应高版本bazel, bazel 版本选择不对，根本无法执行编译

$ chmod +x bazel--installer-linux-x86_64.sh$ ./bazel--installer-linux-x86_64.sh --user$ gedit ~/.bashrc添加：export PATH="$PATH:$HOME/bin"source ~./bashrc sudo ldconfig

Step 6 : 下载tensorflow 源码：

$ git clone https://github.com/tensorflow/tensorflow$ cd tensorflow*$ ./configure

配置文件选择：

Give python path inPlease specify the location of python. [Default is /usr/bin/python]/usr/bin/python3Press enter two timesDo you wish to build TensorFlow with Apache Ignite support? [Y/n]: nDo you wish to build TensorFlow with XLA JIT support? [Y/n]: nDo you wish to build TensorFlow with OpenCL SYCL support? [y/N]: nDo you wish to build TensorFlow with ROCm support? [y/N]: nDo you wish to build TensorFlow with CUDA support? [y/N]: YPlease specify the CUDA SDK version you want to use. [Leave empty to default to CUDA 9.0]: 10.0Please specify the location where CUDA 10.0 toolkit is installed. Refer to Home for more details. [Default is /usr/local/cuda]: /usr/local/cuda-10.0/Please specify the cuDNN version you want to use. [Leave empty to default to cuDNN 7]: 7.6.0Please specify the location where cuDNN 7 library is installed. Refer to README.md for more details. [Default is /usr/local/cuda-10.0]: /usr/local/cuda-10.0/Do you wish to build TensorFlow with TensorRT support? [y/N]: NPlease specify the NCCL version you want to use. If NCCL 2.2 is not installed, then you can use version 1.3 that can be fetched automatically but it may have worse performance with multiple GPUs. [Default is 2.2]: 2.4.8Please specify the location where NCCL 2.3.5 is installed. Refer to README.md for more details. [Default is /usr/local/cuda-10.0]: /usr/local/cuda-10.0/nccl/Now we need compute capability which we have noted at step 1 eg. 5.0Please note that each additional compute capability significantly increases your build time and binary size. [Default is: 5.0] 7.5Do you want to use clang as CUDA compiler? [y/N]: NPlease specify which gcc should be used by nvcc as the host compiler. [Default is /usr/bin/gcc]: /usr/bin/gccDo you wish to build TensorFlow with MPI support? [y/N]: NPlease specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -march=native]: -march=nativeWould you like to interactively configure ./WORKSPACE for Android builds? [y/N]:NConfiguration finished

Step 7: 编译参考官网 https://www.tensorflow.org/install/source

GPU Support

bazel build --config=opt --config=cuda
//tensorflow/tools/pip_package:build_pip_package

这大概会持续一段时间，网上说要3-4小时，也有的说要6个小时，但是笔者亲测只用了1个半小时左右

bazel 会生成一个叫 build_pip_package 脚本

然后生成 .whl 安装文件使用命令

bazel-bin/tensorflow/tools/pip_package/build_pip_package tensorflow_pkg

这会生成一个新的文件夹 tensorflow_pkg 并在其中包含 .whl 的安装文件

Step 8 : 安装生成的 .whl 文件

cd tensorflow_pkgsudo pip install *.whl

Step 9 : 验证安装是否正确

pythonimport tensorflow as tfhello = tf.constant('Hello, TensorFlow!')sess = tf.Session()print(sess.run(hello))

正常输出 hello, Tensorflow 就算安装正确

补充：

卸载 Bazel 的方法，该命令适用于（apt）安装方法

$ sudo apt-get --purge remove bazel$ sudo apt autoremove

对于binary installer 安装方法的卸载，笔者直接删除相关文件，并将添加到 ./bashrc 文件中的环境变量删除，然后选择合适的版本重新安装

拒绝踩坑！源码编译 tensorflow 解决 cuda 不配套万金油方法相关推荐

撸啊撸，再次撸HashMap源码，踩坑源码中构造方法！！！每次都有收获
前言点赞在看,养成习惯. 点赞收藏,人生辉煌. 点击关注[微信搜索公众号:编程背锅侠],第一时间获得最新文章. HashMap系列文章第一篇 HashMap源码中的成员变量你还不懂? 来来来!!! ...
bazel源码编译Tensorflow
因为研究需求,要从Tensorflow源码编译libtensorflow_cc.so和libtensorflow_framwork.so两个库,工具是bazel. 编译硬件需求:GCC4.8以上,ba ...
python3.6源码编译安装解决SSL报错
从源码编译安装python3.6之后,用pip的时候可能会提示SSL错误,实际上是openssl和python的安装有问题,本文给出安装openssl和python3.6.6的完整过程. 1.编译安装 ...
android源码编译老罗,Rx_Android 的简单实用方法(参考老罗代码)
Rx是响应式编程的意思, 本质是观察者模式, 是以观察者(Observer)和订阅者(Subscriber)为基础的异步响应方式. 在Android编程时, 经常会使用后台线程, 那么就可以使用这种方 ...
Tensorflow源码编译
相比源码编译各版本之间遇到的坑来说,pip安装真心省事.不过由于项目需要采用C++实现的整个感知模块,只能把DL前向传播这块也写成C++形式.这是我去年的编译过程,当时有不少坑没能记录下来,以后有机会 ...
Ubuntu 16.04 源码编译安装GPU tensorflow（二）
如前一篇在1.4.0版本的Tensorflow上安裝Tensorflow Object Detection API,在验证测试时出現serialized_options=None问题.需安装高版本Te ...
Ubuntu 15.04 安装TensorFlow（源码编译）及测试梵高作画
介绍Google的TensorFlow机器学习开源库,在UbuntuKylin上的安装和和源码编译. 原始官方文档参见:http://www.tensorflow.org. 本电脑配置如下: 3.19 ...
Linux16.04配置tensorflow(GPU源码编译)并深入了解tensorboard
Tensorflow – Google推出的一个强大的"深度学习框架".于2015年11月在GIthub上开源,在2016年4月补充了分布式版本,并于2017年1月发布了1.0版本 ...
python opencv源码_caffegpu源码编译
软硬件环境 ubuntu 18.04 64bit NVidia GTX 1070Ti anaconda with python 3.7 CUDA 10.1 cuDNN 7.6 opencv 3.4.2 ...

拒绝踩坑！源码编译 tensorflow 解决 cuda 不配套 万金油方法

拒绝踩坑！源码编译 tensorflow 解决 cuda 不配套 万金油方法相关推荐

最新文章

热门文章

拒绝踩坑！源码编译 tensorflow 解决 cuda 不配套万金油方法

拒绝踩坑！源码编译 tensorflow 解决 cuda 不配套万金油方法相关推荐