我的Qt作品（11）使用Qt+OpenCV实现一个带旋转角度的NCC灰度模板匹配演示软件
使用Qt+OpenCV自己写了一个带旋转角度的NCC灰度模板匹配算子以及它的演示软件。算子的原理是基于NCC灰度匹配。
一、什么是NCC匹配
1、基于Normalized cross correlation(NCC：归一化互相关)用来比较两幅图像的相似程度已经是一个常见的图像处理手段。在工业生产环节检测、监控领域对对象检测与识别均有应用。NCC算法可以有效降低光照对图像比较结果的影响。而且NCC最终结果在0到1之间，所以特别容易量化比较结果，只要给出一个阈值就可以判断结果的好与坏。
2、在opencv代码中，matchTemplate函数里面有个方法是cv::TM_CCOEFF_NORMED，它实现了NCC算子。CCOEFF的英文全称是：Correlation Coefficient，中文译为相关系数；NORMED是归一化的意思。但是该函数本身是不支持旋转角度和金字塔分级的，所以需要自己实现这些功能。matchTemplate函数保存在源码文件imgproc文件夹下的templmatch.cpp中。
https://github.com/opencv/opencv/blob/2.2/modules/imgproc/src/templmatch.cpp
https://github.com/opencv/opencv/blob/2.4.13.7/modules/imgproc/src/templmatch.cpp
https://github.com/opencv/opencv/blob/3.4.18/modules/imgproc/src/templmatch.cpp
https://github.com/opencv/opencv/blob/4.5.5/modules/imgproc/src/templmatch.cpp
建议：看v2.x的源码，比较精简。从v3.x开始新增了mask参数。
3、 matchTemplate函数各个方法的计算公式如下：
请重点关注NCC算子的计算方式cv::TM_CCOEFF_NORMED。公式摘录自书籍《学习OpenCV 3》第13章，模板匹配。
此外，OPenCV官方网站的文档也提供了公式说明：
https://docs.opencv.org/3.4.18/df/dfb/group__imgproc__object.html
v4.6.0版本的文档更详细，还新增了参数Mask的说明：
https://docs.opencv.org/4.6.0/df/dfb/group__imgproc__object.html
那么，公式里的T和I分别是什么意思？
T 代表模板图像(w,h)，I 代表待匹配图像(W,H)。
R 代表输出的结果矩阵，大小为 (W-w+1)x(H-h+1)。
(x,y)代表结果矩阵的每个元素的坐标。
(x',y')代表模板矩阵的每个元素的坐标。
详情见：
https://blog.csdn.net/qq_42791845/article/details/103700503
https://blog.csdn.net/m0_38007695/article/details/114535686
https://blog.csdn.net/weixin_44229257/category_11737954.html
4、从OpenCV源码matchTemplate函数得出，在进行每种方法计算的时候，并不是直接在空间域操作，而是在crossCorr函数中，将输入图像做了一次DFT变换（即傅里叶变换），将空间域的图像转换到频率域中来进行处理，这也解释了OpenCV代码的高效性原因。
void crossCorr( const Mat& img, const Mat& _templ, Mat& corr, Point anchor, double delta, int borderType )
其实，crossCorr函数计算的结果就是TM_CCORR的方法的计算结果，求两个矩阵的卷积。
TM_CCORR公式
OpenCV源码在执行完成crossCorr()函数之后，会继续调用：
static void common_matchTemplate( Mat& img, Mat& templ, Mat& result, int method, int cn )
所有方法都是基于crossCorr得到的结果矩阵的基础，再继续计算下去的。
TM_SQDIFF公式可以展开
TM_CCOEFF公式可以展开
其中 sum(I) 为源图像中模板图像对应区域的和，mean(T) 是模板图像的均值。
TM_CCOEFF_NORMED的分母
其中 σ 2为模板图像的方差，N,M 分别是模板图像的宽和高。
详情见：
https://blog.csdn.net/m0_38007695/article/details/114535686
https://blog.csdn.net/weixin_44229257/article/details/125059085
一句话总结：
OpenCV源码没有按照前面提到的公式来计算，而是采用了傅里叶变换，目的是加快运算速度。
其实傅里叶变换仍然不是最快的方法，计算卷积最快的方法是SIMD。
详情见：
https://www.cnblogs.com/Imageshop/p/4126753.html
https://www.cnblogs.com/Imageshop/p/9069650.html
https://www.cnblogs.com/Imageshop/p/8469208.html
5、如果不想使用傅里叶变换（不想在频域计算），而是直接在空间域计算，那么按照CV_TM_SQDIFF公式，我们来计算
resultImage是结果矩阵R
templateImage是模板矩阵T
srcImage是原图矩阵I
(x,y)代表结果矩阵的每个元素的坐标。
(x',y')代表模板矩阵的每个元素的坐标。
for (int resultImageRow = 0; resultImageRow < resultImage_rows; resultImageRow++)
{for (int resultImageCol = 0; resultImageCol < resultImage_cols; resultImageCol++){int sum = 0;short int temp = 0;for (int templateImageRow = 0; templateImageRow < templateImage_rows; templateImageRow++){for (int templateImageCol = 0; templateImageCol < templateImage_cols; templateImageCol++){temp = templateImage.ptr<uchar>(templateImageRow)[templateImageCol] - srcImage.ptr<uchar>(resultImageRow + templateImageRow)[templateImageCol + resultImageCol];sum += temp * temp;}}resultImage.ptr<int>(resultImageRow)[resultImageCol] = sum;}
}TM_CCORR公式，直接在空间域计算
int* resultImagePtr;
uchar* srcImagePtr;
uchar* templateImagePtr;
for (int resultImageRow = 0; resultImageRow < resultImage_rows; resultImageRow++)
{
resultImagePtr = resultImage.ptr<int>(resultImageRow);
for (int resultImageCol = 0; resultImageCol < resultImage_cols; resultImageCol++)
{
int sum = 0;
short int temp = 0;
for (int templateImageRow = 0; templateImageRow < templateImage_rows; templateImageRow++)
{
srcImagePtr = srcImage.ptr<uchar>(resultImageRow + templateImageRow) + resultImageCol;
templateImagePtr = templateImage.ptr<uchar>(templateImageRow);
for (int templateImageCol = 0; templateImageCol < templateImage_cols; templateImageCol++)
{
temp1 = *(srcImagePtr++);
temp2 = *(templateImagePtr++);
sum += temp1 * temp2;
}
}
*(resultImagePtr++) = sum;
}
}二、该演示软件实现的主要功能：
未使用商业图像处理库，而是纯粹Qt+OpenCV
1、NCC匹配
2、金字塔
3、最大重叠率
4、旋转角度
5、匹配分数
6、不支持缩放
7、模板文件读写
8、ROI框选功能，人机交互
三、部分头文件
创建模板，对照学习halcon的算子create_ncc_model
查找物体，对照学习halcon的算子find_ncc_model
#ifndef CNCCMATCH_H
#define CNCCMATCH_H#include "nccmodelid.h"
#include "result.h"class VISIONCORE_EXPORT CNccMatch
{
public:CNccMatch();virtual ~CNccMatch();public:void createNccModel(const cv::Mat &imageModel, int numLevels, double angleStart, double angleExtent, double angleStep, CNCCModelID &modelID);void findNccModel(const cv::Mat &imageSearch, const CNCCModelID &modelID, double angleStart, double angleExtent, double minScore, int numMatches, double maxOverlap, int numLevels,std::vector<int> &vtRow, std::vector<int> &vtColumn, std::vector<double> &vtAngle, std::vector<double> &vtScore);private:void multipleMaxLoc(const cv::Mat &image, double minScore, int numMatches, std::vector<cv::Point> &vtLocations, std::vector<double> &vtMaxima);void imageRotate(cv::Mat &imageSrc, double angle, cv::Mat &imageDst, cv::Mat &mask);void clusterAnalyze(const std::vector<SMatchResult> &vtSrc, std::vector<SMatchResult> &vtDst, double disThreshold = 10);void nmsMatchesRotatedRect(const std::vector<SMatchResult> &vtSrc, const cv::Size &modelsize, std::vector<SMatchResult> &vtDst, double maxOverlap);void nmsMatchesRect(const std::vector<SMatchResult> &vtSrc, std::vector<SMatchResult> &vtDst, double maxOverlap);
};#endif // CNCCMATCH_H四、演示软件截图
未使用商业图像处理库，而是纯粹Qt+OpenCV
五、下一版的优化改进方向
1、模板积分图像实现预计算
2、CPU指令集的优化提速
优化提速的好文章：
https://www.cnblogs.com/Imageshop/p/14559685.html
六、bilibili视频教程
OpenCV中的模板匹配（二）源码对比_哔哩哔哩_bilibili
OpenCV中的模板匹配（七）相关性系数匹配_哔哩哔哩_bilibili
OpenCV中的模板匹配（八）归一化相关性系数匹配_哔哩哔哩_bilibili
X、引申知识点：NCC匹配与形状匹配的比较
create_ncc_model
find_ncc_model
read_ncc_model
write_ncc_model
clear_ncc_model
create_scaled_shape_model
find_scaled_shape_model
read_shape_model
write_shape_model
clear_shape_model
1、NCC匹配优点
纹理
对焦不清
形状轻微变形
2、形状匹配优点
精度高
支持X/Y 方向缩放
支持物体遮挡
支持多模板
支持非线性光照变化
3、他人写的git
GitHub - luosch/stereo-matching: stereo-matching using SSD, NCC and ASW
4、什么是模板匹配？
模板匹配就是在整个图像区域发现与给定图像最相似的小块区域，所以模板匹配首先需要一个模板图像，另外需要一个待检测图像：
在待检测图像上，从左到右，从上到下，计算模板图像与重叠子图像的匹配度（相似度），匹配度（相似度）越大，两者相同的可能性越大。
对于每一个位置将计算的相似结果保存在矩阵 R 中。如果输入图像的大小为 WxH 且模板图像的大小为 wxh，则输出矩阵R 的大小为 (W-w+1)x(H-h+1) 。
获得 R 后，从 R 中找出匹配度最高的位置，那么该位置对应的区域就是最匹配的，区域为以该点为顶点，长宽和模板图像一样大小的矩阵。)
我的Qt作品（11）使用Qt+OpenCV实现一个带旋转角度的NCC灰度模板匹配演示软件相关推荐
- 用opencv打开一个视频并加特效（灰度转换、高斯滤波、canny边缘检测处理）再保存
做这个代码时只在保存转化后的视频时出现了问题,就是保存的avi文件打不开,并且大小很小(所以我怀疑没有写进去) 导致出错的代码 VideoWriter writer("qinshi3.avi ...
- OpenCV实现NCC多角度模板匹配(附源码)
效果预览 OpenCV实现NCC多角度模板匹配 源码下载与参考链
- QT实现图像处理-傅立叶变换、傅立叶反变换、平滑、锐化与模板匹配
From: http://www.cnblogs.com/qytan36/archive/2010/04/04/1704226.html 实验环境: 1,Linux操作系统 2,QT3编程开发环境 3 ...
- opencv学习之路（21）、模板匹配及应用
一.模板匹配概念 二.单模板匹配 1 #include "opencv2/opencv.hpp" 2 #include <iostream> 3 using names ...
- opencv python教程简书_OpenCV-Python教程:28.模板匹配
理论 模板匹配是在一个大图里搜索和找模板图像位置的方法.OpenCV有个函数cv2.matchTemplate()来做这个.它吧模板图像在输入图像上滑动,对比模板和在模板图像下的输入图像块.它返回了一 ...
- 【opencv】目标跟踪之MOSSE算法配合模板匹配实现初始滤波器的自动初始化
因为最近有一个需求是识别视频流中的指定物体,一些轻量级的算法实际测试效果都不太好,所以考虑到目标追踪算法.(是自动识别!!!!!!) Opencv八种目标追踪算法: BOOSTING Tracker: ...
- 我的Qt作品（17）OpenCV畸变标定，针对单张圆点图片实现畸变校正
1.详情见我在论坛发的帖子:单张圆点图片实现畸变校正 http://www.ihalcon.com/read-17421.html 2.畸变校正和九点标定的实验结果,带来的精度提升: 视野范围400m ...
- Qt笔记11：qt如何设置应用程序图标和可执行程序图标
我们使用Qt开发了桌面程序之后,很多时候要修改窗口标题和应用程序图标,那么如何来设置呢? 1: 首先准备个ICO图标.注意只能是ico格式的图标,如果不是可以使用ps或者网页在线图标转换. 例如:my ...
- opencv下通过模板匹配进行人体跟踪
本人学习opencv了半个月,学到模板匹配函数时灵感一动,写出了这个模板匹配的函数.特此,将我的灵感奉献给大家.废话不多说,代码贴上. #include "stdafx.h" #i ...
- Python OpenCV 正月十五轻松点，复习一下模板匹配吧
Python OpenCV 365 天学习计划,与橡皮擦一起进入图像领域吧.本篇博客是这个系列的第 49 篇. 该系列文章导航参考:https://blog.csdn.net/hihell/categ ...
最新文章
- 图数据库Titan安装与部署
- 自从学了这套框架，自动化+性能都解决了
- yum groupinstall “Development Tools“查看其软件列表
- 怎样把开启的服务放到后台？
- php 不申明构造函数,PHP的构造函数和同类名函数同时申明时调用的情况
- 滤镜应用——制作车辆行驶效果
- python判断水仙花数
- @@IDENTITY，SCOPE_IDENTITY和IDENT_CURRENT
- 创建和销毁对象（1）
- 【Kettle】job中设置自动发送邮件
- 再谈javascript图片预加载技术(转)
- Linux账号安全控制与PAM认证模块
- java中String转Long类型
- flash 与3D笔记：图片墙（1）
- Axure教程：用中继器制作调查问卷/考试试卷
- R语言垃圾邮件分类--朴素贝叶斯（机器学习）
- 研华IO控制卡硬件接线方式
- js对json、xml字符串格式化（美化增强可读性）
- 计算机网络漫谈：OSI七层模型与TCP/IP四层（参考）模型(转载)
- Python数据分析练习：北京、广州PM2.5空气质量分析（2）