点击上方“视学算法”,选择加"星标"或“置顶

重磅干货,第一时间送达

作者丨Yukyin@知乎

来源丨https://zhuanlan.zhihu.com/p/279401802

编辑丨极市平台

本文仅作学术分享,若侵权,请联系后台删文处理

导读本文介绍了作者使用RTX3090进行深度学习环境配置pytorch、tensorflow、keras等的详细过程及代码。

笔者中山大学研究生,医学生+计科学生的集合体,机器学习爱好者。

最近刚入了3090,发现网上写的各种环境配置相当混乱而且速度很慢。所以自己测了下速度最快的3090配置环境,欢迎补充!

基本环境(整个流程大约需要5分钟甚至更少)

py37或py38cuda11.0cudnn8.0.4tf2.5(tf-nightly)或 tf1.15.4pytorch1.7keras2.3

(1)官网下载,安装显卡驱动:

bash NVIDIA-Linux-x86_64-455.23.04.run

(2)安装Anaconda并换源

bash Anaconda3-5.2.0-Linux-x86_64.shvim ~/.bashrcexport PATH=/home/XXX/anaconda3/bin:$PATH(XXX为自己的用户名)(在文件末尾处添加该语句)source ~/.bashrc
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/conda config --set show_channel_urls yes之后vim ~/.condarc,把defaults删掉

(3)创建虚拟环境,一般用py37或py38(以下都在虚拟环境中操作)

conda create -n exp38 python==3.8conda activate exp38

(4)安装cuda11.0和pytorch1.7(不用再conda install cudatoolkit==11.0)

conda install pytorch torchvision cudatoolkit=11

(5)安装cudnn8(因为conda还不支持cudatoolkit=11中下载cudnn)

从https://developer.nvidia.com/rdp/cudnn-download下载cudnn,解压后进入cuda/lib64路径下,把里面所有文件拷入对应虚拟环境(exp38)的lib中

(6)装tf2.5(不要装tensorflow-gpu==2.4.0rc0,会报错'NoneType' object has no attribute 'TFE_MonitoringDeleteBuckets')

pip install tf-nightly-gpu -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
pip install tf-nightly -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

(7)装tf1.15.4

此处参考这位大佬的tf1.15.4安装步骤
https://blog.csdn.net/wu496963386/article/details/109583045?utm_medium=distribute.wap_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.wap_blog_relevant_pic

pip install google_pasta-0.2.0-py3-none-any.whl nvidia_cublas-11.2.1.74-cp36-cp36m-linux_x86_64.whl nvidia_cuda_cupti-11.1.69-cp36-cp36m-linux_x86_64.whl nvidia_cuda_nvcc-11.1.74-cp36-cp36m-linux_x86_64.whl nvidia_cuda_nvrtc-11.1.74-cp36-cp36m-linux_x86_64.whl nvidia_cuda_runtime-11.1.74-cp36-cp36m-linux_x86_64.whl nvidia_cudnn-8.0.4.30-cp36-cp36m-linux_x86_64.whl nvidia_cufft-10.3.0.74-cp36-cp36m-linux_x86_64.whl nvidia_curand-10.2.2.74-cp36-cp36m-linux_x86_64.whl nvidia_cusolver-11.0.0.74-cp36-cp36m-linux_x86_64.whl nvidia_cusparse-11.2.0.275-cp36-cp36m-linux_x86_64.whl nvidia_dali_cuda110-0.26.0-1608709-py3-none-manylinux2014_x86_64.whl nvidia_dali_nvtf_plugin-0.26.0+nv20.10-cp36-cp36m-linux_x86_64.whl nvidia_nccl-2.7.8-cp36-cp36m-linux_x86_64.whl  nvidia_tensorrt-7.2.1.4-cp36-none-linux_x86_64.whl tensorflow_estimator-1.15.1-py2.py3-none-any.whl nvidia_tensorboard-1.15.0+nv20.10-py3-none-any.whl
nvidia_tensorflow-1.15.4+nv20.10-cp36-cp36m-linux_x86_64.whl -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

(8)装keras2.3

pip install keras==2.3 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

(9)测试(使用cuda10.2也可以测试使用gpu,但貌似不能把数据写入gpu)

pytorch

tensorflow-2.5或1.15.4

keras(测试需要改部分源码_get_available_gpus())

import tensorflow as tfimport keras.backend.tensorflow_backend as tfbackprint("tf.__version__ is", tf.__version__)print("tf.keras.__version__ is:", tf.keras.__version__)
def _get_available_gpus():    if tfback._LOCAL_DEVICES is None:        devices = tf.config.list_logical_devices()        tfback._LOCAL_DEVICES = [x.name for x in devices]    return [x for x in tfback._LOCAL_DEVICES if 'device:gpu' in x.lower()]tfback._get_available_gpus = _get_available_gpus
from keras import backend as KK.tensorflow_backend._get_available_gpus()

后记:实际3090需要cuda11.1,但pytorch和tf目前只支持11.0。而且讲真不需要单独配cuda、cudnn,在虚拟环境里搞就行了。

20210102更新:对tf1.15.4进行测试,实测可用,数据可写入gpu。文章中已补充。

点个在看 paper不断!

深度学习环境配置指南:Pytorch、TensorFlow、Keras相关推荐

  1. 【20210122期AI简报】保姆级深度学习环境配置指南、寒武纪首颗AI训练芯片亮相...

    导读:本期为 AI 简报 20210122 期,将为您带来 9 条相关新闻,新增论文推送,在文章底部,祝各位牛年大吉~ 本文一共 3700 字,通篇阅读结束需要 7~10 分钟 1. 保姆级教程:深度 ...

  2. 深度学习环境配置指南/YOLOv8目标检测实践

    深度学习环境配置指南以YOLOV8 为例 简介 软件准备 部分安装难点 了解yolov8 准备yolov8运行的环境 跑一个例程 运行一个例程 Load a model 简介 实验室来了很多新同学,本 ...

  3. Ubuntu 深度学习环境配置、Theano TensorFlow PyTorch 安装、常用软件安装方式

    文章目录 介绍 系统和显卡 深度学习环境配置 安装 Nvidia 显卡驱动 安装 CDUA 安装 cuDNN 深度学习框架安装 安装 Theano-gpu 安装 TensorFlow-gpu 安装 P ...

  4. 深度学习环境配置指南!(Windows、Mac、Ubuntu全讲解)

    ↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货 作者:伍天舟.马曾欧.陈信达 入门深度学习,很多人经历了从入门到放弃的心 ...

  5. 【深度学习】相当全面的深度学习环境配置指南!(Windows、Mac、Ubuntu全讲解)...

    作者:伍天舟.马曾欧.陈信达 入门深度学习,很多人经历了从入门到放弃的心酸历程,且千军万马倒在了入门第一道关卡:环境配置问题.俗话说,环境配不对,学习两行泪. 如果你正在面临配置环境的痛苦,不管你是W ...

  6. 保姆级教程:深度学习环境配置指南!(Windows、Mac、Ubuntu全讲解)

    点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 入门深度学习,很多人经历了从入门到放弃的心酸历程,且千军万马倒在了 ...

  7. 安装教程rtx2080ti_点云深度学习环境配置指南(一)Ubuntu16.04+RTX2080ti

    [今日导读]想做点云深度学习?先把环境配置好吧.本期为初学者带来环境配置指南,有需求的同学赶快上手吧.配置为: Ubuntu16.04+RTX2080ti+NVIDIA驱动+cuda10.1+cudn ...

  8. RTX 3090的深度学习环境配置指南:Pytorch、TensorFlow、Keras

    点击上方"AI遇见机器学习",选择"星标"公众号 重磅干货,第一时间送达 来源 | 知乎 编辑 | 极市平台 作者 | Yukyin 最近刚入了3090,发现网 ...

  9. Nvidia TX2 刷机+深度学习环境配置(cuda 8.0+python 3.5+opencv 3.4+tensorflow 1.4.1+keras+pip3)

    配置说明 一.刷机/重装系统 二.环境配置 三.参考 一.刷机/重装系统(系统损坏时可按以下步骤重装系统) 1)刷机之前的准备 (1)装有ubuntu16.04的电脑(主机),因为我们要安装的JetP ...

最新文章

  1. 2021-2027年中国智能马桶盖行业市场研究及前瞻分析报告
  2. 红旗linux桌面版反应慢,红旗Linux6.0桌面版使用感受
  3. arm b bl 地址无关码_ARM_异常和中断
  4. 企业云桌面-02-安装第2台域控制器和第2台DNS服务器-012-DC02
  5. Cisco防火墙技术汇总[转贴]
  6. 【C 语言】数组 ( 指针数组用法 | 菜单选择 )
  7. Linux 常用检测命令
  8. profiler分析器——R语言
  9. java script 对象
  10. .net core 2.0学习记录(一):搭建一个.Net Core网站项目
  11. css入门之head区设置
  12. 期刊投稿状态_这些SCI期刊的投稿显示状态是什么意思?
  13. 问题 L: The Hanoi Tower
  14. delphi adoquery 上一个下一个_从一个起点冲向下一个起点
  15. 【iOS开发必备指南合集二】申请IDP/真机调试/GameCenter 指南/OpenFeint指南
  16. Unity3D基础9:获取鼠标键盘输入
  17. 基于微博数据的人物性格分类系统
  18. c语言顺序表的初始化Status,数据结构(c语言版)顺序表的建立、初始化、插入、删除、遍历等12个基本操作及测试...
  19. python读取excel在web中显示_在网页中预览excel表格文件
  20. Vray材质——金属材质

热门文章

  1. 参加海峡两岸城市地理信息系统论坛2010 年会(一张图、规划信息化和空间句法的碎碎念)...
  2. Python-字符串操作方法 [转]
  3. 太强了,Python 开发桌面小工具,让代码替我们干重复的工作~
  4. 超 40W 奖金池等你来战!第二届“长沙银行杯”腾讯云启创新大赛火热来袭!...
  5. 踏向星辰的少年|敢与自己开“杠”,才能和一群人开挂
  6. 多画面、实时投票,这场上了一晚热搜的超级晚,背后的技术出圈了
  7. 10个 Python 工程师,9个不合格!
  8. 从原理到落地,七大维度详解矩阵分解推荐算法
  9. Google发布新的问答语料库,专攻篇章级的NLU问题
  10. Prometheus 有瓶颈?怎么打造企业级监控系统?