mxnet自动调用尽量多的cpu多核,多人训练,别人就不方便用了。

这个起作用,控制cpu核数占用。

os.environ['OMP_NUM_THREADS'] = "4"

要加在整个项目的mxnet import之前。

mxnet 环境变量配置(显存)

MXNET_CPU_WORKER_NTHREADS的设置大于4对特征提取不起作用

os.environ['MXNET_CPU_WORKER_NTHREADS'] = "4"

os.environ['MXNET_UPDATE_ON_KVSTORE'] = "0"
os.environ['MXNET_EXEC_ENABLE_ADDTO'] = "1"
os.environ['MXNET_USE_TENSORRT'] = "0"
os.environ['MXNET_GPU_WORKER_NTHREADS'] = "2"
os.environ['MXNET_GPU_COPY_NTHREADS'] = "1"
os.environ['MXNET_OPTIMIZER_AGGREGATION_SIZE'] = "54"

一般情况下,不需要修改有关环境变量的配置。但是一些特殊情况,需要修改的,就涉及到以下这些内容了:
在linux上最简单的修改方式就是export MXNET_GPU_WORKER_NTHREADS=3

一 设置进程数量
MXNET_GPU_WORKER_NTHREADS
这个参数用来在一块卡上并行计算,在每一块GPU上最大的进程数,默认值为2

MXNET_GPU_COPY_NTHREADS
在每个GPU上执行内存复制作业的并发线程的最大数量,默认值1

MXNET_CPU_WORKER_NTHREADS

MXNET_CPU_PRIORITY_NTHREADS

MXNET_CPU_NNPACK_NTHREADS

二 显存选项
MXNET_EXEC_ENABLE_INPLACE
默认值:true

NNVM_EXEC_MATCH_RANGE
默认值:16

MXNET_EXEC_NUM_TEMP
默认值:1
将此设置为一个小数目可以节省GPU内存。它也可能会降低并行度,这通常是可以接受的。

MXNET_GPU_MEM_POOL_RESERVE
默认值:5
If you see a strange out-of-memory error from the kernel launch, after multiple iterations, try setting this to a larger value.

三 Memonger
MXNET_BACKWARD_DO_MIRROR
默认值:0,可选0或1
MXNet 使用镜像概念来节省内存。用于训练阶段来节省设备内存,当设置为1 的时候,在前向传播的时候会复制某些层的fp,反向传播的时候会重新计算这些数据。
MXNET_BACKWARD_DO_MIRROR=1 将会节省30%~50%的显存, 保存95%的运行速度。
四 控制数据通信
MXNET_KVSTORE_REDUCTION_NTHREADS
默认值:4
用于总结大数组的CPU线程数。
MXNET_KVSTORE_BIGARRAY_BOUND

MXNET_ENABLE_GPU_P2P

更多配置信息:

http://mxnet.incubator.apache.org/how_to/env_var.html

五 Mxnet恢复训练
Mxnet可以通过断点恢复训练,命令如下:

python train_end2end.py --network resnet --gpu 0 --resume --begin_epoch 10 --end_epoch 15 --lr_step 15

原文链接:https://blog.csdn.net/u010402786/article/details/78475472

mxnet 显存配置,cpu过高配置相关推荐

  1. 内存 显存,cpu,GPU,显卡

    内存 显存,cpu,GPU 1 硬件上的区别 1 内存条 2 cpu如下图: 3 显存:属于显卡的组成部分,主要负责存储GPU需要处理的各种数据: 4 GPU:在显卡上,属于显卡的芯片,又称图形处理单 ...

  2. 两万元的计算机什么配置,两万高配置电脑使用CAD非常卡顿怎么办

    本帖最后由 18332919183 于 2020-4-21 17:55 编辑 两万块钱买的笔记本,使用CAD任何版本都卡顿,百度方法调设置关闭动态输入关闭区域框选指示等等各种方法,都试了还是不行,任然 ...

  3. gddr6速率_美光GDDR6内存可上20Gbps,带宽堪比HBM 2显存

    拼 命 加 载 中 ... 下一代显存标准已经确定是GDDR6了,其速率相比目前的GDDR5将翻倍,可达16Gbps,此前各种爆料称NVIDIA的GTX 1180显卡将会率先使用GDDR6显存.从现有 ...

  4. android手机最低内存,原神手机端需要哪些配置 手机端最低配置要求介绍

    原神是一款由米哈游自主研发的全新开放世界冒险游戏,游戏最近迎来了pc端的首次测试,而且在不久之后就会开启原神手机端的公测版本,那么手机端需要什么配置呢?小编带来了详细的介绍. 移动端预下载:9月25日 ...

  5. 计算机改显存会有啥影响,显卡显存越大越好吗?显存对电脑速度的影响有哪些?...

    对于刚接触DIY领域的小白玩家来说,衡量显卡性能的指标就是GPU芯片和其频率,这也确实是显卡性能的决定性因素.但除了GPU,还有一个对显卡性能影响较大的部分,那就是显存. 显卡显存越大越好吗?显存对电 ...

  6. 10大游戏显存占用率测试

    请注意这里的游戏全是开的最高效果!~ 近几年,显卡的发展速度可以说快的惊人,几乎隔几个月,NVIDIA和AMD就会推出性能更高的新品.很显然,CPU的发展速度早已经不能和显卡相提并论了,NVIDIA的 ...

  7. 2G显存 用之有道:从玩家需求的转变看显存的发展

    前言: 玩家在选购显卡的时候,显存容量的大小曾经一度是最为关注的参考指标之一,商家也是极力把大显存作为宣传的卖点.但是随着理性消费时代的到来,这种观念不知道从什么时候开始被人们抛弃了,甚至大显存的显卡 ...

  8. Android新机系统要求,原神手机配置要求多少 手机配置要求说明

    手机配置要求说明 >>>预计包体大小 移动端 8 G左右 PS4设备 12 G左右(请预留足够的下载时间) >>>预留存储空间 移动端设备请预留 8 GB以上磁盘空 ...

  9. 查看显卡显存_强力散热别浪费 显卡超频这样搞

    点击上方电脑爱好者关注我们 小伙伴们有没有发现,现在的显卡经常是多个版本共用一套散热系统和PCB板,这样看起来有点浪费资源,其实对厂商来说是节约设计成本和时间的.看着那些顶着强力散热器的"低 ...

最新文章

  1. 是时候了解下无监督学习了!
  2. 数学建模——智能优化之模拟退火模型详解Python代码
  3. 万字长文,解读“幕后产品”的核心观点
  4. PHP 性能分析: Xhprof Xhgui
  5. 前端学习(2175):认识路由文件的懒加载
  6. 数据是如何被保护的?高质量存储告诉你
  7. c语言 年月日比较大小
  8. 第一次写CSDN的博客
  9. 算法设计 分析篇(摊销分析)
  10. 计算机二级ppt文小雨,计算机二级PPT真题:制作日月潭介绍PPT
  11. Eclipse中英文对照表(整理笔记)
  12. 激光导航AGV的停车精度受环境变化的影响有多大?
  13. AI四小龙排队上市,AI嗅觉为何还没有独角兽?
  14. c#调用windows虚拟键盘
  15. python实现守护进程_Python如何实现守护进程的方法示例
  16. 机器学习中在线学习、批量学习、迁移学习、主动学习的区别
  17. 一脚蹬+健走鞋 咕咚5K2.0智能跑鞋强势回归
  18. 如何成为一个Hacker
  19. 动态磁盘导致无法进入Mac系统的解决办法
  20. Buildroot 打包文件系统流程跟踪

热门文章

  1. java设计模式---访问者模式
  2. OpenStack在dashboard界面点击管理员网络,服务器页面出错
  3. 处理器体系结构(了解CPU的基本运行原理)——《深入理解计算机系统》
  4. java stringbuilder换行_初遇Java StringBuffer 和 StringBuilder 类利用 StringBuilder 给TextView实现换行处理...
  5. INSTALL PARSE FAILED INCONSISTENT CERTIFICATES错误解决方法
  6. Design Pattern - Proxy(C#)
  7. access oracle sql语句,在 Access 中使用 SQL 建索引
  8. mysql查询不到邮件_mysql – sql查询通过电子邮件获取用户列表
  9. java两行两行读取问文件,正则提取两行之间所有行内容方法.
  10. fx-4500科学计算机用法,应用CASIOfx-4500PA计算器计算LC50的方法