redhat配置caffe多核训练
参考网站:
http://blog.csdn.net/10km/article/details/52723306
http://stackoverflow.com/questions/31395729/how-to-enable-multithreading-with-caffe
redhat配置caffe多核训练
一、安装openblas
要利用openblas进行加速
安装
- sudo yum install openblas-devel
查看安装的路径
- rpm -ql openblas-devel
1 /usr/include/openblas 2 /usr/include/openblas/cblas.h 3 /usr/include/openblas/f77blas.h 4 /usr/include/openblas/lapacke.h 5 /usr/include/openblas/lapacke_config.h 6 /usr/include/openblas/lapacke_mangling.h 7 /usr/include/openblas/lapacke_utils.h 8 /usr/include/openblas/openblas_config.h 9 /usr/lib64/libopenblas.so 10 /usr/lib64/libopenblaso.so 11 /usr/lib64/libopenblasp.so
/usr/include/openblas
/usr/include/openblas/cblas.h
/usr/include/openblas/f77blas.h
/usr/include/openblas/lapacke.h
/usr/include/openblas/lapacke_config.h
/usr/include/openblas/lapacke_mangling.h
/usr/include/openblas/lapacke_utils.h
/usr/include/openblas/openblas_config.h
/usr/lib64/libopenblas.so
/usr/lib64/libopenblaso.so
/usr/lib64/libopenblasp.so
二、配置Makefile.config
BLAS := open
# Custom (MKL/ATLAS/OpenBLAS) include and lib directories.
# Leave commented to accept the defaults for your choice of BLAS
# (which should work)!
BLAS_INCLUDE := /usr/include/openblas
BLAS_LIB := /usr/lib64/openblas
- make clean
- make all
三、报错
make: /usr/local/bin/bin/mexext: Command not found
目测:matlab路径没有配置正确
查找matlab安装路径
- sudo find /usr/local -name mexext
/usr/local/MATLAB/R2014a/bin/mexext
配置Makefile.config中MATLAB路径
MATLAB_DIR := /usr/local/MATLAB/R2014a
- Make clean
- Make –j64 all
成功
查看caffe指向的依赖库
- ldd build/tools/caffe
linux-vdso.so.1 => (0x00007fffff5ff000)
libcaffe.so.1.0.0-rc3 =>
libopenblas.so.0 => /usr/lib64/libopenblas.so.0 (0x00007f17b58de000)
******
libnppc.so.6.5 => /usr/local/cuda-6.5/lib64/libnppc.so.6.5 (0x00007f4d257c6000)
运行后照旧是单核。
在/usr/lib64下不仅有libopenblas.so.0(单线程版本),还有一个libopenblasp.so.0,这个就是前面软件列表中的openblas-openmp的so文件(多线程版本)
如何利用Makefile配置openblas的库文件没有搞明白。
因此,查看教程,利用CMake来指定openbals的库为多线程版本,重新编译caffe。
http://blog.csdn.net/10km/article/details/52723306
四、CMake编译caffe
于是修改OMP_NUM_THREADS或(OPENBLAS_NUM_THREADS)参数减少OpenBlas的线程数再试
- export OMP_NUM_THREADS=4
- export OPENBLAS_NUM_THREADS=4
- echo $ OMP_NUM_THREADS
- echo $ OPENBLAS_NUM_THREADS
关于OMP_NUM_THREADS和OPENBLAS_NUM_THREADS的详细用法说明参见《OpenBlas github网站》
重新运行mnist,可以看到cpu跑满4核。
但是到4核以上会报错
Segmentation fault,至今没有发现原因。
转载于:https://www.cnblogs.com/yizhichun/p/6437106.html
redhat配置caffe多核训练相关推荐
- Ubuntu17.10 下配置caffe 仅CPU i386可以直接apt install caffe-cpu,但是怎么运行mnist代码我懵逼了...
Ubuntu16.04下配置caffe(仅CPU) 参考:http://blog.csdn.net/zt_1995/article/details/56283249 第二次配置caffe环境,依旧把之 ...
- Windows7下Caffe的应用---在Win7下使用VS2015、Camke、Anaconda3配置Caffe CPU版本
前言 1.之前一直在Linux使用Caffe做机器学习的相关的项目,相对于Linux,在Windows配置Caffe相对麻烦一些,我这里使用Cmake gui版本,适合新手操作. 2.我配置的环境是w ...
- Windows 10 Visual Studio 2015 配置 Caffe
笔记本是双显卡,读研的时候成功的在Ubuntu下配置好了一次Caffe,并且完成了深度学习的实验,前不久因为一个小的问题,导致NVIDIA驱动出了问题,以后再也没有在Ubuntu下成功配置好Caffe ...
- Ubuntu16.04 安装配置Caffe
Caffe已经是第三次安装配置了,为什么是第三次呢?因为我实在是低估了深度学习对于硬件的要求.第一次我在自己笔记本上配置的单核,CPU only ... 结果是,样例数据跑了4小时,这还怎么玩?第二 ...
- win10caffe-GPU环境配置+mnist手写体训练以及python接口导入详细教程(一步成功)
什么是caffe Caffe是一个深度学习框架,具有表达力强.速度快和模块化的思想,由伯克利视觉学习中心(BVLC)和社区贡献者开发.Yangqing Jia在加州大学伯克利分校攻读博士期间创建了这个 ...
- caffe windows 训练自己的图片数据
caffe训练自己的数据分为四步: 1.图片数据集准备 2.网络训练所需数据格式 lmdb / leveldb 转换 3.图像均值文件计算 4.网络训练 具体过程如下: 一.图片数据集准备 图片数据收 ...
- Ubuntu 16.04系统下CUDA8.0配置Caffe教程
由于最近安装了Ubuntu 16.04,本文教程的特点是不需要降级gcc的版本,毕竟cuda8.0已经支持gcc5以上(默认不支持,实际支持). 本文是在参考caffe官网教程以及http://www ...
- caffe python接口_ubuntu配置caffe的python接口pycaffe
参考网站: ubuntu配置caffe的python接口pycaffe 依赖 前提caffe已经正确编译.见Ubuntu配置caffe库包sudo apt-get install python-pip ...
- Caffe上训练使用自己的数据
Caffe上训练使用自己的数据 from: http://www.wjxfpf.com/2015/10/824918.html 接着上篇,上篇讲解了怎么在ubuntu下安装Caffe,如果一切没问题的 ...
最新文章
- Eclipse上GIT插件EGIT使用手册之八_解决推送冲突
- 【CT算法,radon变换】基于MATLAB的CT算法,radon变换的三维建模仿真
- kylin linux 安装教程,新手入门必备:kylin安装教程介绍!
- 1006	换个格式输出整数(C语言)
- 在 Ubuntu 中更换字体
- Meteor:快到飞起来的全栈JavaScript开发平台
- 前端学习JQuery篇03——基本操作(效果)
- 全网最雕的 10 名月薪超过 5W 的程序员,和他们的公众号!
- Python编程-继承和接口
- PPT文件太大怎么办?如何压缩PPT?这几招帮你搞定
- 计算机桌面截图怎么截,电脑怎么截图?电脑截图的五大方法
- vue 对象提供的属性功能、通过axio请求数据(2)
- 移动硬盘插入电脑后不显示盘符
- sty和cls文档编写指南
- linux系统it固定资产管理系统包_固定资产管理系统功能介绍
- 知识普及:KB=Kb?
- caffe中的多种loss函数
- 「视频直播技术详解」系列之六:现代播放器原理
- 【火同学】OPencv学习笔记——滑动条的创建和使用
- go开发中遇到的问题
热门文章
- 笑脸哭脸循环c语言,买卖信号(哭脸笑脸)选股公式(源码)
- Maven工程Spring框架AOP的简单使用
- 於岳 linux实用教程(第2版),Linux实用教程 第2版 教学课件 ppt 作者 於岳 编著 06...
- oracle存储过程的创建与调用,Oracle 存储过程创建及调用
- 20190806:字符串解密
- python爬微信头像_使用python itchat包爬取微信好友头像形成矩形头像集的方法
- Android SDK开发包下载地址
- 用VB轻松调用其他程序
- 中国首家干线物流联合创新中心成立
- 披一张机器皮,智能就有了?!