前言

最近在研究桂电的代码，感觉挺有东西的，浅浅记录一下

1.图像预处理

1.1 图像二值化

1.1.1 红色

    //图像二值化cv::split(_src, splitSrc);                                                               //分离色彩通道cv::cvtColor(_src, _graySrc, cv::COLOR_BGR2GRAY);                                        //获取灰度图cv::threshold(_graySrc, _separationSrcWhite, 240, 255, cv::THRESH_BINARY);cv::bitwise_not(_separationSrcWhite, _separationSrcWhite);if (enemyColor == ENEMY_RED) {//敌方为红色cv::threshold(_graySrc, _graySrc, _para.grayThreshold_RED, 255, cv::THRESH_BINARY);     //灰度二值化cv::subtract(splitSrc[2], splitSrc[0], _separationSrc);                                 //红蓝通道相减cv::subtract(splitSrc[2], splitSrc[1], _separationSrcGreen);                             //红绿通道相减cv::threshold(_separationSrc, _separationSrc, _para.separationThreshold_RED, 255, cv::THRESH_BINARY);             //红蓝二值化cv::threshold(_separationSrcGreen, _separationSrcGreen, _para.separationThreshold_GREEN, 255, cv::THRESH_BINARY);//红绿二值化cv::dilate(_separationSrc, _separationSrc, Util::structuringElement3());cv::dilate(_separationSrcGreen, _separationSrcGreen, Util::structuringElement3());                                        //膨胀_maxColor = _separationSrc & _graySrc & _separationSrcGreen & _separationSrcWhite;                                                                //逻辑与获得最终二值化图像cv::dilate(_maxColor, _maxColor, Util::structuringElement3());                                                    //膨胀//cv::morphologyEx(_maxColor, _maxColor, cv::MORPH_OPEN, Util::structuringElement3());}

最终得到的图像是 _maxColor = _separationSrc & _graySrc & _separationSrcGreen & _separationSrcWhite
以下四个二值化得到的

cv::threshold(_graySrc, _separationSrcWhite, 240, 255, cv::THRESH_BINARY);//灰度二值化
cv::threshold(_graySrc, _graySrc, _para.grayThreshold_RED, 255, cv::THRESH_BINARY);     //红蓝二值化
cv::threshold(_separationSrc, _separationSrc, _para.separationThreshold_RED, 255, cv::THRESH_BINARY);   //红绿二值化
cv::threshold(_separationSrcGreen, _separationSrcGreen, _para.separationThreshold_GREEN, 255, cv::THRESH_BINARY);

1.1.2 蓝色

 else {cv::threshold(splitSrc[2], _purpleSrc, _para.grayThreshold_PURPLE, 255, cv::THRESH_BINARY);                 //防止误识别紫色基地cv::bitwise_not(_purpleSrc, _purpleSrc);//敌方为蓝色......}

2 找到轮廓findLightBarContour

这部分算是比较中规中矩

cv::RotatedRect scanRect = cv::minAreaRect(allContours[i]);//检测最小面积的矩形cv::Point2f vertices[4];
scanRect.points(vertices);if (fabs(vertices[1].x - vertices[3].x) > fabs(vertices[1].y - vertices[3].y))continue;

其实是使用对角线上的点

【参考文档】minAreaRect方法生成检测对象的最小外接矩形

3.寻找攻击目标

#ifdef USE_BP//net = cv::dnn::readNetFromCaffe("../trainData/deploy.prototxt", "../trainData/_iter_2000.caffemodel");_net.load("../trainData/model_sigmoid_800_200.xml");
#else

一共是做了两套方案
①使用caffe
②使用pd
完整代码很长但是实际上可以归纳为两步：
（1）检查当前装甲板是否为工程（2代表工程）
（2）使用caffe或者pd进行判断

3.1使用caffe进行识别

3.1.2. deploy.prototxt

实际上是LeNet的配置文件

重点关注第一层和最后一层

第一层：

net.setInput(inputBlob, "data");

最后一层：

inputBlob = net.forward("loss");

3.1.3

相当于将最后一层经过softmax的结果展平

         inputBlob = inputBlob.reshape(1, 1);//展平Point classNumber;cv::minMaxLoc(inputBlob, NULL, &classProb, NULL, &classNumber);//取最大值作为物体classId = classNumber.x;    // 类别：0是45度，1是装甲板

【minMaxLoc参考博文】OpenCV 找出图像中最小值最大值函数minMaxLoc

训练的时候，我猜想应该是将装甲板和45度角两条灯条匹配成装甲板的情况进行标注

3.1.4 代码

#if USE_CAFFE//Mat inputBlob = dnn::blobFromImage(resizeImg, 0.00390625f, Size(20, 20), Scalar(), false);Mat inputBlob = dnn::blobFromImage(resizeImg, 1, Size(20, 20), Scalar(), false);net.setInput(inputBlob, "data");inputBlob = net.forward("loss");int classId;double classProb;inputBlob = inputBlob.reshape(1, 1);Point classNumber;cv::minMaxLoc(inputBlob, NULL, &classProb, NULL, &classNumber);classId = classNumber.x;    // 类别：0是45度，1是装甲板
//        LOG::info("case of armor: " + to_string(classId) + " accuracy: " + to_string(classProb * 100));if (classId == 0 || classProb < 0.6) {_sampleData.classifyState = false;armorStructs.erase(it);continue;}

3.2 使用bp神经网络

3.2.1 bp神经网络的概念

定义：是一种按误差逆传播算法训练的多层前馈网络
传播的对象是误差，传播的目的是得到所有层的估计误差，后向是说由后层误差推导前层误差

【参考文档】Bp神经网络

4.选择最终攻击目标

同样也是做了两套方案
①对ID进行攻击序列排序
②根据权重

4.1 findArmorByWeight根据权重

void ArmorDistinguish::findArmorByWeight(std::vector<ArmorStruct>& armorStructs, cv::RotatedRect& resultRect, ArmorRectHistoricalDataList& armorRectData) {//float aver = 0.0f;for (size_t i = 0; i < armorStructs.size(); ++i) {对于每一个可能的装甲板更新armorRectData中的xxx ChangeRate}//找到权重最大的装甲板maxWeightNum = findVarianceMaxWeight(_armorRectHistoricalData, armorRectData, _maxWeightValue);resultRect = armorStructs[maxWeightNum].armorRect;//判断目标装甲板类型_armorType = armorStructs[maxWeightNum].armorType;_leftLightBar = armorStructs[0].partLightBars[0];_rightLightBar = armorStructs[0].partLightBars[1];_nowCarID = armorStructs[maxWeightNum].carId;
}

（1）维护ArmorRectHistoricalDataList
（2）根据各种变化率（面积，x,y,高宽等）决定权重

robomaster（1）装甲板识别相关推荐

Robomaster装甲板识别-基于python+opencv的思路分享
Robomaster视觉-装甲板识别环境:windows10.pycharm2017..python3.64.opencv3 ***先上个效果图吧,图中是加了一些其他算法的,不是单独的识别,还有一些 ...
RoboMaster视觉教程（4）装甲板识别算法
RoboMaster视觉教程(4)装甲板识别算法概览下面是一些资料链接,篇篇经典! 装甲板识别 test_sentry.cpp 分析一下装甲板识别函数 int ArmorDetector::de ...
视觉组考核——装甲板识别
视觉组考核--装甲板识别识别Robomaster的装甲板的简易程序算法分析装甲板识别主要分这几步图像处理->提取灯柱同时对灯柱进行筛选->灯条匹配->装甲板的筛选 1.图像处 ...
东南大学RM装甲板识别算法详解
rm中,装甲板的识别在比赛中可谓是最基础的算法.而在各个开源框架中,该算法也可以说最为成熟.出于学习目的,之后将对比多个高校或网络代码(),尝试学习各个rm装甲板识别算法的优点和流程. 这次先是东南大 ...
基于yolov5的目标检测和模型训练（Miniconda3+PyTorch+Pycharm+实战项目——装甲板识别）
目录一.环境配置和源码获取 1.Miniconda 2.MIniconda虚拟环境配置PyTorch 3.yolov5项目源码 4.pycharm 二.目标检测三.模型训练 1.数据集 1.ima ...
RoboMasterAI挑战赛-装甲板识别与测距 jetsonNX+realsense
RoboMasterAI挑战赛-装甲板识别与测距 jetsonNX+realsense 1.演示视频 2.识别测距代码 2.1 主要思路 2.2 主要代码 1.演示视频识别测距:https://ww ...
RM机器视觉——图像处理、识别装甲板（ROBOMASTER）
声明: 本文案基于robomaster机甲大师: 本文案为个人视觉组初稿,仍有较多问题,远不及开源的大佬所作,但文本通俗易懂,为初学者提供入门思路: 代码注释行也会有相应讲解,非技术人员可以跳过: 部 ...
尝试使用OPENMV识别装甲板
前言在参加RM比赛时,我们挑选了许多的设备用来实验,openmv便是其中之一.openmv是在GitHub上的开源项目,开源是相当完整,有能力的团队完全可以依据开源设计制造出自己的产品.我们所使用的 ...
基于C++的车辆装甲板检测自瞄系统
资源下载地址:https://download.csdn.net/download/sheziqiong/85773209 资源下载地址:https://download.csdn.net/downl ...

robomaster（1）装甲板识别

前言