利用GPU训练的配置方法(Keras)
利用GPU训练的配置方法(Keras)
- GPU的使用配置
- 配置GPU内存的占用率
本文主要针对Keras(Tensorflow2.0版本以后)深度学习框架如何对GPU进行配置,以及如何设置训练任务对GPU的占有率。
GPU的使用配置
首先,为了明确使用的GPU型号,ubuntu系统下可以利用终端指令查看系统GPU的使用、型号情况。
sudo nvidia-smi
输出的结果如下:
也可以在代码中通过tensorflow_backend获取到可用的GPU信息。
from keras import backend as K
print(K.tensorflow_backend._get_available_gpus())
输出结果如下:
接下来,在代码中通过CUDA_VISIBLE_DEVICES来选定GPU:
import tensorflow as tf
os.environ["CUDA_VISIBLE_DEVICES"] = "0"
将编号选择成对应的GPU编号即可选定该GPU训练模型。
若要选定多块GPU,将相应的GPU编号用逗号隔开,即可。
os.environ["CUDA_VISIBLE_DEVICES"] = "0,1"
配置GPU内存的占用率
在上述已经选定完成GPU的使用配置后,可以选择训练模型时对GPU内存的占有率,防止为了训练模型而影响服务器的其他任务正常使用。
gpus = tf.config.experimental.list_physical_devices(device_type='GPU')
for gpu in gpus:tf.config.experimental.per_process_gpu_memory_fraction = 0.7 #可调整GPU内存的占有率
通过上述两个配置,即可实现在GPU训练环境已配置(cuda、cudnn等)的情况下,实现GPU训练Keras2.x的深度学习模型。
本文仅作为学习笔记交流分享用。由于本人水平有限,文章可能出现纰漏,欢迎大家进行交流指正。谢谢阅读!
利用GPU训练的配置方法(Keras)相关推荐
- 利用GPU训练网络模型
文章 方式一 方式二 本文章中使用的网络模型架构图: GPU训练有两种方式: 方式一 使用gpu训练只要找到:网络模型.数据(输入和标注).损失函数再调用.cuda()即可. CPU训练代码: imp ...
- 【Pytorch神经网络实战案例】01 CIFAR-10数据集:Pytorch使用GPU训练CNN模版-方法①
import torch import torchvision from torch import nn from torch.utils.tensorboard import SummaryWrit ...
- 【Pytorch神经网络实战案例】02 CIFAR-10数据集:Pytorch使用GPU训练CNN模版-方法②
import torch import torchvision from torch import nn from torch.utils.tensorboard import SummaryWrit ...
- windows10下 tensorflow gpu版本安装配置方法
最近要用到tensorflow,之前安装了cpu版本的,但训练模型速度实在是慢,打算安装一个GPU版本的tensorflow: 安装环境为:wiindows 10, anaconda python36 ...
- 利用GPU训练网络时遇到的一些问题
1. OSError: [Error 12] Cannot allocate memory 解决办法: 出现这个错误时我是绝望的...因为我看了别人的解决办法,要加内存条才能解决...但是我不甘心,想 ...
- TensorFlow2.4可以在MacBook Pro/Mac Pro上利用GPU做机器学习训练了
田海立@CSDN 2020-11-21 之前MacBook上TensorFlow只能利用CPU做训练,TF2.4开始可以利用GPU做训练了,并且不管是M1的MacBook Pro,还是Intel架构的 ...
- CPU和GPU训练耗时比较
网络训练耗时 为什么要用GPU训练网络 CPU 训练是在载入图片并进行处理后再开始训练网络,而利用GPU 训练是在CPU 载入图片处理后利用GPU 进行网络训练,GPU 训练速度更快且后面的图片加载不 ...
- 深度学习入门(三十八)计算性能——多GPU训练
深度学习入门(三十八)计算性能--多GPU训练 前言 计算性能--多GPU训练 课件 多GPU并行 数据并行VS模型并行 数据并行 总结 教材 1 问题拆分 2 数据并行性 3 简单网络 4 数据同步 ...
- 使用估算器、tf.keras 和 tf.data 进行多 GPU 训练
文 / Zalando Research 研究科学家 Kashif Rasul 来源 | TensorFlow 公众号 与大多数 AI 研究部门一样,Zalando Research 也意识到了对创意 ...
最新文章
- html对象属性大全
- 2.1.5 线程概念和多线程模型
- SEO--我们是不是走错了路?
- 卷王李富贵算法每日一题--分治算法(四)--循环比赛
- Android QA
- SqlParameter的参数值为 null
- 芯片厂商的电机控制方案
- FreeCodeCamp学习--Falsy Bouncer
- css3 transition transform属性造成文字抖动
- 怎么将多张图片拼在一起?分享几种好用的拼图工具
- 阅读笔记 - 20220409
- UnityRenderStreaming云渲染
- ErrMsg:server is DOWN now, please try again later!
- 这些网络流行语是什么意思!打工是不可能打工的,这辈子不可能打工的!(来自窃·格瓦拉的名言)
- 我的世界网易怎么下载java材质包_​网易我的世界材质包怎么导入
- python之qrcode模块生成二维码
- 广告化开发(基础知识)~广告生态链DSP/SSP/RTB/ADX的理解
- 图像处理软件(基本功能都已实现,含源码)
- IMX6ULL---SD卡制作与烧录步骤(重要)
- PAT(乙级)2019年冬季考试【答案+题解】
热门文章
- 爆肝整理|BAT100道JavaScrip面试真题集锦(附解析)
- ubuntu重启networkmanager的指令
- 在线Html实体编码/解码 (含10进制,16进制)
- python定义向量内积函数_python – 沿多维数组的一维向量点积
- IOS 创建App的最佳捷径
- java-net-php-python-jspm社团管理系统计算机毕业设计程序
- 用three.js在网页实现3D模型的展示
- CSGO赛事管理系统毕设
- 如何安装windows和linux双操作系统?
- 金融帝国实验室(Capitalism Lab)官方认证汉化包下载(V3.07)