科普

gcc/g++: - GNU project C and C++ compiler.When you compile C++ programs, you should invoke GCC as g++ instead.

Cuda:GPU Accelerated Computing with C and C++

一、Ubuntu+cuda+cudnn+opencv+darknet/yolov3环境配置

1.NVIDIA显卡驱动安装

首先查看系统是否已经安装NVIDIA驱动，查看方式输入nvidia-smi无输出或系统信息没有显卡信息。

安装方式有ppa或官网下载驱动安装，再次之前可查看系统推荐驱动：

ubuntu-drivers devices

也可以在官网查看：https://www.geforce.cn/drivers

安装成功：nvidia-smi显示显卡信息，或系统信息有显卡graphics这栏,如下：

2.gcc降版本

3.安装cuda

查看显卡支持cuda版本

windows:(参考：https://blog.csdn.net/wangyjfrecky/article/details/55100963)

控制面板->搜索NVIDIA->双击进入NVIDIA控制面板：

点击帮助->系统信息->组件

UBUNTU：参考(http://www.voidcn.com/article/p-ujjgjaae-xp.html)根据显卡型号选择

我选择cuda9.0 cuda9.0【点这下载】

根据自己的系统选择，但必须选择runfile,因为之前已经安装过驱动，其他包会重复安装。可能导致循环登录。安装参考官网命令：

首先是协议，按enter到100%，是否安装驱动选择no，其他默认或自定。

InstallNVIDIA Accelerated GraphicsDriver for Linux-x86_64 384.81?

此处选择no

此处需要安装四个打包文件patch，命令同上，安装后在根目录/usr/local下会有cuda-9.0和cuda两个文件夹。

若系统自带驱动符合要求，可以直接跳过驱动安装：

配置环境变量：

打开~/.bashrc文件，在末尾加入：

export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}

export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

***此处需要测试nvcc命令，若提示没有安装并建议安装nvidia-cuda-toolkit,可以重启电脑再试，run包安装时有选择cuda-toolkit安装，若重复安装，nvidia-cuda-toolkit自带415驱动，可能导致循环登录。正常安装后，nvcc输出：

具体可参考这篇博客：https://blog.csdn.net/jiangyanting2011/article/details/78873113

3.cudnn安装

cudnn安装比较简单，需注意和cuda版本匹配【下载地址】

注册登录后下载

4.opencv NVIDIA cuda版本编译安装

cuda9.0支持opencv3.4.0及之前的版本，opencv官网下载opencv，我选择3.4.0，

下载解压后进入目录 cd opencv-3.4.0

安装cmake 等一系列依赖包

$ sudo apt-get install build-essential

$ sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev

$ sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev # 处理图像所需的包

$ sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev liblapacke-dev

$ sudo apt-get install libxvidcore-dev libx264-dev # 处理视频所需的包

$ sudo apt-get install libatlas-base-dev gfortran # 优化opencv功能

$ sudo apt-get install ffmpeg

创建新文件夹来编译，否则会报错 ，进入目录

sudo mkdir build

cd build

编译 (无cuda版本可按网上教程来，此处为cuda版本)

$ cmake -D CMAKE_BUILD_TYPE=RELEASE \

-D CMAKE_INSTALL_PREFIX=/usr/local \

-D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib-3.4.0/modules \#若出错或无可去掉

-D PYTHON_EXCUTABLE=/usr/bin/python3\ #根据自己的Python版本确定，默认则安装到2.7版本

-D WITH_CUDA=ON \ #使用CUDA

-D WITH_TBB=ON \

-D BUILD_NEW_PYTHON_SUPPORT=ON \

-D WITH_V4L=ON \

-D WITH_GTK=ON \ #不加ubuntu cmake可能会报错

-D WITH_OPENGL=ON \

-D WITH_CUBLAS=ON \

-D DCUDA_NVCC_FLAGS="-D_FORCE_INLINES" \

-D CUDA_ARCH_BIN="6.1" \ # [GPU计算能力](https://developer.nvidia.com/cuda-gpus)

-D CUDA_ARCH_PTX="" \ #线程并行计算`

-D BUILD_EXAMPLES=ON \

-D CUDA_GENERATION=Pascal .. #自己显卡架构

完成后lscpu 查看电脑CPU核数

我的总共为4，接下来：

sudo make -j4

完成后安装

sudo make install

测试，无报错则安装成功

xiaose@lenovo:~$ python3

Python 3.6.7 (default, Oct 22 2018, 11:32:17)

[GCC 8.2.0] on linux

Type "help", "copyright", "credits" or "license" for more information.

>>> import cv2

>>>

提示找不到cv2模块，安装

sudo apt-get install python3-opencv

重新编译报错解决：删除build同级目录下cache文件

5.darknet/yolov3 编译

YOLOv3官网【下载】

打开Makefile，更改参数，根据自己环境修改参数

GPU=1

CUDNN=1

OPENCV=1

OPENMP=0

DEBUG=0

由于使用Pascal架构，需要在架构上加-gencode arch=compute_61,code=[sm_61,compute_61]

ARCH= -gencode arch=compute_30,code=sm_30 \

-gencode arch=compute_35,code=sm_35 \

-gencode arch=compute_50,code=[sm_50,compute_50] \

-gencode arch=compute_52,code=[sm_52,compute_52] \

-gencode arch=compute_61,code=[sm_61,compute_61]

修改nvcc路径，根据自己修改

NVCC=/usr/local/cuda-9.0/bin/nvcc

COMMON+，LDFLAGS+路径可为默认cuda或改为cuda-9.0

ifeq ($(GPU), 1)

COMMON+= -DGPU -I/usr/local/cuda-9.0/include/

CFLAGS+= -DGPU

LDFLAGS+= -L/usr/local/cuda-9.0/lib64 -lcuda -lcudart -lcublas -lcurand

endif

修改完成后保存，执行

sudo make

若更改参数，重新编译 make clean 后make

测试，darknet目录下 ./darknet出现下图，编译成功

$ ./darknet

usage: ./darknet

二、训练技巧、问题及解决办法：

1.xml标注文件转txt

可参考darknet源码scripts/voc_labels.py文件

2.更改测试label，box线条粗细及标签大小

image.c文件

3.训练图片集路径问题

原作者是将txt文件生成训练集路径

实测：将目录下图像生训练集路径文件train_image_path.txt，并将txt文件放到图片目录下一一对应

4. .cfg文件修改

batch=64

subdivisions=16

batch,subdivisions根据自己显存大小修改，并且batch/subdivisions最好为自己GPU数量的整数倍

learning_rate=0.001

burn_in=1000

多GPU训练时：learning_rate=0.001/gpus burn_in=1000*gpus 对于YOLO层

[convolutional]

size=1

stride=1

pad=1

filters=42

activation=linear

[yolo]

mask = 0,1,2

anchors = 10,13, 16,30, 33,23, 30,61, 62,45, 59,119, 116,90, 156,198, 373,326

classes=9

num=9

jitter=.3

ignore_thresh = .5

truth_thresh = 1

random=1

classes根据自己检测类别数更改，对应上一层卷积层filters=3×(5+num[classes])

anchors可以根据自己的样本聚类得到

5.cannot fopen ***.jpg/txt

检查对应训练集路径

6.cuda error: out of memory

改小batch/增大sudbivisions，或者关闭多尺度训练random=0

7.darknet: ./src/cuda.c:36: check_error: Assertion `0' failed.

(1)有out of memory错误：检查是否有图像读取错误或同6

(2)无out of memory 错误：Makefile中arch架构与自己显卡架构不匹配，参照安装方法重新编译。

一般来说，也可能是类别数和yolo层filters不匹配

8.训练开始一段时间后出现loss=nan 、IOU=nan ,其他参数全为0的情况

确保cfg文件是train模式，batch、subdivisions不全为1，查看自己训练集txt是否为空

若为多GPU训练，按上述设置参数，防止陷入局部极值点或loss及IOU计算错误。

9.obj和no obj同时下降

使用初始权重darknet53.conv.74或YOLOv3.weights训练时，由于与作者训练集样本结构不同，为 正常现象，若全降为0后不上升，出现大片nan和0，根据多GPU训练修改参数或将batch增大到128及以上

10.测试权重需要关闭训练

11.修改cfg文件不需要重新编译，修改源码需要重新编译

12.训练权重在训练的电脑上可以检测出目标，但换一台机器后无法检测出目标的问题

确保gcc/g++降版本的时候删掉了原来的连接，根据自己的显卡，选择相应的fermi/kepler/maxwell/pascal/turing架构，并根据计算能力选择arch=xx后重新编译

13. No input parameters supplied: Success darknet: ./src/utils.c:256: error: Assertion `0' failed.Aborted (core dumped)

首先加sudo权限，报错找不到libcudart.so.9.0，【解决办法】

若不能解决，则可能为darknet自身问题【参考】重新编译darknet

优化

根据官方参考文档

1. 在.cfg文件中设置random=1，可以增加检测精度。

2. 增加input图像尺寸，在.cfg文件中设置(height=608，heigh=608)以上，可以增加检测精度

3. 对.cfg文件中的anchors重新进行聚类

4. 确保数据集中所有的class都有对应的label，检测你的数据集可以使用https://github.com/AlexeyAB/Yolo_mark

5. 所使用的数据集包括同一物体在不同角度、光照、背景、大小下的图片，并且确保训练2000**classes个iterations以上。

6. 确保生成的txt文档不为空

其他详见官方参考文档

参考：