记录之使用3080ti运行tensorflow-gpu=1.x版本的源码

环境：Anaconda3，ubuntu18.04，RTX3080ti，python3.7

RTX3080ti显卡是当前市面上比较新的，算力比较强的显卡，且这类显卡采用了安培架构仅支持cuda11.x及以上版本。关于tf-gpu,cuda,cudnn间的对应关系，我们可以查看：从源代码构建 | TensorFlow
关于驱动和cuda，cudnn的对应关系，我们可以查看：Release Notes :: CUDA Toolkit Documentation

##问题1：我的30系列卡的驱动为450.x.x或更高,按照向下兼容的道理，那我是不是可以使用cuda10.x？

正常答案是不能，因为正常情况下30系列的卡只支持cuda11.x（非正常的答案也有，不过安装起来比较麻烦，这里我们只讨论正常情况，下面会给出这种情况的链接）。这个问题也是困扰我的问题，因为我一直秉持着向下兼容的道理，相信我的3080ti支持cuda10.x，我在几次测试时发现，行不通。我们都知道，在使用conda安装tf-gpu的时候，会自动安装对应的cudatoolkit和cudnn，这也着实为我们省了不少麻烦。但是在安装时发现conda可以search到的最高tensorflow-gpu版本为2.4.1，而其对应的cudatoolkit是10.1.183，这种办法装好的环境，在使用tf.test.is_gpu_avaliable()时打印出的是True，但在实际跑代码时，会卡在奇怪的地方：

然后报最下面的一行错，可以看到，cuda和cudnn虽正常打开，但是并没办法使用，就是因为30系列的卡只支持cuda11.x，这也就意味低于tf-gpu=2.x版本的代码是不能运行的，tf-gpu=1.x的版本更不可以。怎么解决呢，继续看问题2和3。
PS：非正常情况，因为Geogle不再维护tf1.x，但是Nvidia公司有在维护一款tf-gpu=1.15.x,且可以运行在30系列的卡，该方法需要科学上网和指定的ubuntu版本（ubuntu20.x），因此我就没有尝试，有兴趣的可以一试，链接：https://blog.csdn.net/wu496963386/article/details/109583045）

##问题2：我虚拟环境中的tensorflow-gpu如果不使用conda自动安装的cudatoolkit和cudnn，直接使用大环境的CUDA和cudnn（前提是你的大环境已经配置好）？

答案是可以，因为conda可以search到的最高tensorflow-gpu版本为2.4.1，而其对应的cudatoolkit是10.1.183，我们的30卡不可以直接用。由于该tf-gpu和cudatoolkit，cudnn是捆绑安装的，且卸载的时候是捆绑卸载的，所以我们不能使用conda来装tf-gpu了。将原来conda装的tf-gpu卸载，会一并卸载cudatoolkit和cudnn。如果环境中没有cudatoolkit和cudnn，就会使用大环境中的cuda和cudnn，使用pip在虚拟环境中安装tf-gpu，由于我的大环境cuda版本为11.2，因此我下载了tf-gpu=2.6.1。不少同学会问，可是我的代码时1.x的怎么办，接着看问题3。

##问题3：tf2.x和tf1.x相比，很多函数都变了，也舍弃了很多函数，怎么办？

根据问题1，我们已经知道，tf-gpu=1.x的版本正常是无法在30系列的卡上运行的，想调显卡就必须使用tf-gpu=2.x，因此我们需要针对修改源码，以让其在tf-gpu=2.x下运行，主要涉及的改动：

1.在import tensorflow 时使用：

import tensorflow.compat.v1 as tf ###
tf.disable_v2_behavior()

这种方式import的tf不包含contrib，因为tf2.x丢弃了这个包

2.一些使用contrib包的初始化方式及函数：

tf1.x:   tf.contrib.layers.xavier_initializer()-->tf2.x:   tf.keras.initializers.glorot_normal()

tf1.x：   tf.contrib.layers.l2_regularizer(0.01)) -->tf2.x：   tf.keras.regularizers.l2(0.01))

大家在修改时，要根据出现的报错修改，改动应该不会涉及太多。

最后给大家说一下，我当前的配置：Nvidia-driver：465.31，tf-gpu=2.6.1，cuda=11.2（11.2.142）, cudnn=8.1.1

最后还有一个问题：根据从源代码构建 | TensorFlow这里查询到的tf-gpu=2.4.0应该是搭配cuda=11.0的，为什么conda里会搭配cudatoolkit=10.1.x呢？应该是该网址给出的是已知能用的搭配，并不是所有搭配，想尝试conda这组搭配可不可行的，可以使用20系列显卡，安装搭配cuda10.1的驱动。