在树莓派3B+ 上使用YOLO v3 Tiny进行实时对象检测

主要参考文章：http://funofdiy.blogspot.com/2018/08/deep-learning-with-raspberry-pi-real.html（需要vpn）
https://blog.csdn.net/weixin_43878078/article/details/103893426
https://github.com/zxzhaixiang/darknet-nnpack/tree/yolov3

说明1：原版的yolo V3 完整版本是无法在树莓派上运行的，直接编译会报错如下的段错误，原因是树莓派内存不够，使用官方权重会越界，所以只能只用yolo v3 -tiny版本

说明2：直接使用官方原版yolo v3 -tiny版本会非常慢，因为官方版本主要是靠GPU运算，对于只有CPU 的树莓派没有任何优化，跑起来效果很差，不过有了darknet-NNPACK这个东西，就可以在树莓派3B上优化到不错的水平（大概一秒一帧）

具体步骤：

步骤0：准备工作

1.安装NNPACK，这是神经网络的加速库，可以在多核CPU上运行
2.在Makefile中添加一些特殊配置，以在Cortex CPU和NNPACK优化上编译Darknet Yolo源代码。（还没有尝试）
3.安装opencv
4.使用Yolo小版本（不是完整版本）运行Darknet！下载Yolov3-tiny.cfg和Yolov3-tiny.weights。
1
如果没有pip：

sudo apt-get install python-pip

启用pi相机:

sudo raspi-config

转到 Interfacing Options，然后启用 Pi/Camera,重启生效。

步骤1 安装 Ninja Building tool 安装 PeachPy 和 confu

sudo pip install --upgrade git+https://github.com/Maratyszcza/PeachPy
sudo pip install --upgrade git+https://github.com/Maratyszcza/confu

在 /home/pi目录下，安装ninja

git clone https://github.com/ninja-build/ninja.git
cd ninja
git checkout release
./configure.py --bootstrap
export NINJA_PATH=$PWD
cd

./configure.py --bootstrap如果报错

"warning: A compatible version of re2c (>= 0.11.3) was not found. changes to src/*.in.cc will not affect your build."
后面用nanja编译nnpack可能会继续报错 "[53/140] CXX test/convolution-output/overfeat-fast.cc" (waited many hours in one run)

解决办法：The ninja step throws: "warning: A compatible version of re2c (>= 0.11.3) was not found. changes to src/*.in.cc will not affect your build."==>>sudo apt-get install re2c

步骤2 安装修改后的 NNPACK

git clone https://github.com/shizukachan/NNPACK
cd NNPACK
confu setup
python ./configure.py --backend auto

用ninja构建NNPACK（需要一段时间，耐心等待，并且第一次可能崩溃。只需重新启动并再次运行）：

$NINJA_PATH/ninja

在这里遇到问题：用ninja构建NNPACK时候我的树莓派频繁死机，据说是SSH+VNC
的锅，也可能是nanja版本的问题，因为我没有外接显示器，这个改天再验证

可以用 ls ，有文件夹 lib ， include 就成功了。

测试NNPACK是否正常工作：bin/convolution-inference-smoketest

将库和头文件复制到系统环境：sudo cp -a lib/* /usr/lib/
sudo cp include/nnpack.h /usr/include/
sudo cp deps/pthreadpool/include/pthreadpool.h /usr/include/

步骤3 安装darknet-nnpack

上面这些步骤其实都是安装darknet-nnpack的准备工作，现在正式开始

cd
git clone -b yolov3 https://github.com/zxzhaixiang/darknet-nnpack
cd darknet-nnpack
git checkout yolov3
make

这就完成了，开始测试。

步骤4 用YoloV3-tiny测试

运行：

sudo python rpi_video.py

或者：

sudo python rpi_record.py

也可以调一下参数：

yolo_proc = Popen(["./darknet","detect","./cfg/yolov3-tiny.cfg","./yolov3-tiny.weights","-thresh", "0.1"],stdin = PIPE, stdout = PIPE)

这两个python文件，只是提供了一个进出的功能。
rpi_video.py 以动画形式在屏幕上显示实时目标检测结果；
rpi_record.py 会将每一帧结果保存（如之后制作git动画）。
另外YoloV3-tiny不在乎输入图像的大小。因此，只要高度和宽度均为32的整数倍，就可以随意调整相机分辨率。

#camera.resolution = (224, 224)
#camera.resolution = (608, 608)
camera.resolution = (544, 416)

看下结果，还需要优化

总结：结果置信度不高，然后我的速度大概是2s一帧，显然是没有优化到位，明天再继续探索，先从单个物体开始

性能对比：

使用前：

使用nnpack加速后：

遇到的问题：

1.刚开始遇到上面的问题，解决后，用ninja构建NNPACK时候我的树莓派频繁死机，据说是SSH+VNC 的锅，也可能是nanja版本的问题，因为我没有外接显示器，这个改天再验证
2.我后面用的别人成功过的版本：链接：https://pan.baidu.com/s/1-7DFRawhDDZXfrKH9aht6g 提取码：k3yp ，编译通过，这里也遇到了点小问题：使用filezera上传的文件全部没有执行权限，导致很多莫名其妙的错误，解决办法使用命令

sudo chmod -R 777  filename
或者
sudo a+x -R filename

关于linux权限的问题参考如下文章https://www.cnblogs.com/cwwmmv/p/10535175.html
菜鸟教程：https://www.runoob.com/linux/linux-file-attr-permission.html