参考网站:

http://blog.csdn.net/10km/article/details/52723306

http://stackoverflow.com/questions/31395729/how-to-enable-multithreading-with-caffe

redhat配置caffe多核训练

一、安装openblas

要利用openblas进行加速

安装

  1. sudo yum install openblas-devel

查看安装的路径

  1. rpm -ql openblas-devel
 1 /usr/include/openblas
 2 /usr/include/openblas/cblas.h
 3 /usr/include/openblas/f77blas.h
 4 /usr/include/openblas/lapacke.h
 5 /usr/include/openblas/lapacke_config.h
 6 /usr/include/openblas/lapacke_mangling.h
 7 /usr/include/openblas/lapacke_utils.h
 8 /usr/include/openblas/openblas_config.h
 9 /usr/lib64/libopenblas.so
10 /usr/lib64/libopenblaso.so
11 /usr/lib64/libopenblasp.so

/usr/include/openblas

/usr/include/openblas/cblas.h

/usr/include/openblas/f77blas.h

/usr/include/openblas/lapacke.h

/usr/include/openblas/lapacke_config.h

/usr/include/openblas/lapacke_mangling.h

/usr/include/openblas/lapacke_utils.h

/usr/include/openblas/openblas_config.h

/usr/lib64/libopenblas.so

/usr/lib64/libopenblaso.so

/usr/lib64/libopenblasp.so

二、配置Makefile.config

BLAS := open

# Custom (MKL/ATLAS/OpenBLAS) include and lib directories.

# Leave commented to accept the defaults for your choice of BLAS

# (which should work)!

BLAS_INCLUDE := /usr/include/openblas

BLAS_LIB := /usr/lib64/openblas

  1. make clean
  2. make all

三、报错

make: /usr/local/bin/bin/mexext: Command not found

目测:matlab路径没有配置正确

查找matlab安装路径

  1. sudo find /usr/local -name mexext

/usr/local/MATLAB/R2014a/bin/mexext

配置Makefile.config中MATLAB路径

MATLAB_DIR := /usr/local/MATLAB/R2014a

  1. Make clean
  2. Make –j64 all

成功

查看caffe指向的依赖库

  1. ldd build/tools/caffe

linux-vdso.so.1 => (0x00007fffff5ff000)

libcaffe.so.1.0.0-rc3 =>

libopenblas.so.0 => /usr/lib64/libopenblas.so.0 (0x00007f17b58de000)

******

libnppc.so.6.5 => /usr/local/cuda-6.5/lib64/libnppc.so.6.5 (0x00007f4d257c6000)

运行后照旧是单核。

在/usr/lib64下不仅有libopenblas.so.0(单线程版本),还有一个libopenblasp.so.0,这个就是前面软件列表中的openblas-openmp的so文件(多线程版本)

如何利用Makefile配置openblas的库文件没有搞明白。

因此,查看教程,利用CMake来指定openbals的库为多线程版本,重新编译caffe。

http://blog.csdn.net/10km/article/details/52723306

四、CMake编译caffe

于是修改OMP_NUM_THREADS或(OPENBLAS_NUM_THREADS)参数减少OpenBlas的线程数再试

  1. export OMP_NUM_THREADS=4
  2. export OPENBLAS_NUM_THREADS=4
  3. echo $ OMP_NUM_THREADS
  4. echo $ OPENBLAS_NUM_THREADS

关于OMP_NUM_THREADS和OPENBLAS_NUM_THREADS的详细用法说明参见《OpenBlas github网站》

重新运行mnist,可以看到cpu跑满4核。

但是到4核以上会报错

Segmentation fault,至今没有发现原因。

转载于:https://www.cnblogs.com/yizhichun/p/6437106.html

redhat配置caffe多核训练相关推荐

  1. Ubuntu17.10 下配置caffe 仅CPU i386可以直接apt install caffe-cpu,但是怎么运行mnist代码我懵逼了...

    Ubuntu16.04下配置caffe(仅CPU) 参考:http://blog.csdn.net/zt_1995/article/details/56283249 第二次配置caffe环境,依旧把之 ...

  2. Windows7下Caffe的应用---在Win7下使用VS2015、Camke、Anaconda3配置Caffe CPU版本

    前言 1.之前一直在Linux使用Caffe做机器学习的相关的项目,相对于Linux,在Windows配置Caffe相对麻烦一些,我这里使用Cmake gui版本,适合新手操作. 2.我配置的环境是w ...

  3. Windows 10 Visual Studio 2015 配置 Caffe

    笔记本是双显卡,读研的时候成功的在Ubuntu下配置好了一次Caffe,并且完成了深度学习的实验,前不久因为一个小的问题,导致NVIDIA驱动出了问题,以后再也没有在Ubuntu下成功配置好Caffe ...

  4. Ubuntu16.04 安装配置Caffe

    Caffe已经是第三次安装配置了,为什么是第三次呢?因为我实在是低估了深度学习对于硬件的要求.第一次我在自己笔记本上配置的单核,CPU only ...  结果是,样例数据跑了4小时,这还怎么玩?第二 ...

  5. win10caffe-GPU环境配置+mnist手写体训练以及python接口导入详细教程(一步成功)

    什么是caffe Caffe是一个深度学习框架,具有表达力强.速度快和模块化的思想,由伯克利视觉学习中心(BVLC)和社区贡献者开发.Yangqing Jia在加州大学伯克利分校攻读博士期间创建了这个 ...

  6. caffe windows 训练自己的图片数据

    caffe训练自己的数据分为四步: 1.图片数据集准备 2.网络训练所需数据格式 lmdb / leveldb 转换 3.图像均值文件计算 4.网络训练 具体过程如下: 一.图片数据集准备 图片数据收 ...

  7. Ubuntu 16.04系统下CUDA8.0配置Caffe教程

    由于最近安装了Ubuntu 16.04,本文教程的特点是不需要降级gcc的版本,毕竟cuda8.0已经支持gcc5以上(默认不支持,实际支持). 本文是在参考caffe官网教程以及http://www ...

  8. caffe python接口_ubuntu配置caffe的python接口pycaffe

    参考网站: ubuntu配置caffe的python接口pycaffe 依赖 前提caffe已经正确编译.见Ubuntu配置caffe库包sudo apt-get install python-pip ...

  9. Caffe上训练使用自己的数据

    Caffe上训练使用自己的数据 from: http://www.wjxfpf.com/2015/10/824918.html 接着上篇,上篇讲解了怎么在ubuntu下安装Caffe,如果一切没问题的 ...

最新文章

  1. Eclipse上GIT插件EGIT使用手册之八_解决推送冲突
  2. 【CT算法,radon变换】基于MATLAB的CT算法,radon变换的三维建模仿真
  3. kylin linux 安装教程,新手入门必备:kylin安装教程介绍!
  4. 1006 换个格式输出整数(C语言)
  5. 在 Ubuntu 中更换字体
  6. Meteor:快到飞起来的全栈JavaScript开发平台
  7. 前端学习JQuery篇03——基本操作(效果)
  8. 全网最雕的 10 名月薪超过 5W 的程序员,和他们的公众号!
  9. Python编程-继承和接口
  10. PPT文件太大怎么办?如何压缩PPT?这几招帮你搞定
  11. 计算机桌面截图怎么截,电脑怎么截图?电脑截图的五大方法
  12. vue 对象提供的属性功能、通过axio请求数据(2)
  13. 移动硬盘插入电脑后不显示盘符
  14. sty和cls文档编写指南
  15. linux系统it固定资产管理系统包_固定资产管理系统功能介绍
  16. 知识普及:KB=Kb?
  17. caffe中的多种loss函数
  18. 「视频直播技术详解」系列之六:现代播放器原理
  19. 【火同学】OPencv学习笔记——滑动条的创建和使用
  20. go开发中遇到的问题

热门文章

  1. 笑脸哭脸循环c语言,买卖信号(哭脸笑脸)选股公式(源码)
  2. Maven工程Spring框架AOP的简单使用
  3. 於岳 linux实用教程(第2版),Linux实用教程 第2版 教学课件 ppt 作者 於岳 编著 06...
  4. oracle存储过程的创建与调用,Oracle 存储过程创建及调用
  5. 20190806:字符串解密
  6. python爬微信头像_使用python itchat包爬取微信好友头像形成矩形头像集的方法
  7. Android SDK开发包下载地址
  8. 用VB轻松调用其他程序
  9. 中国首家干线物流联合创新中心成立
  10. 披一张机器皮,智能就有了?!