双摄像头的实时视频拼接及目标跟踪（七）
系统实现
本文为CSDN原创文章，转载请注明出处
本文为CSDN原创文章，转载请注明出处
本文为CSDN原创文章，转载请注明出处
邮箱：yi_wei_jian@163.com 作者：Y.W.jian
考虑拼接速度以及拼接质量，默认选择ORB算法进行特征点提取，选择柱面投影进行图像投影变换，选择图割法进行最大流检测，渐入渐出法进行融合。根据实际场景出现的效果再做相应的方法调整。
流程图
系统流程图如下
程序流程图如下
小场景下的视频拼接与目标跟踪
输入图像的分辨率为1280*760，每帧的融合时间为0.040.06S，平均帧率为16FPS，画面清晰度比较高，拼接质量很完美，但是物体穿过缝合线时，由于更新背景模板导致帧率大幅度降低，帧率为23FPS，很大程度的影响了拼接的效果。
小场景下的视频拼接（输入分辨率为1280*760）
当输入的图像分辨率为640320时，每帧的融合时间为0.0250.04S，平均帧率为28FPS，所拼接出来的图像分辨率较低，难以看清图像的细节，但是速度大幅度提升，可以达到实时的目的。但是当检测到运动物体穿过重叠区域时，帧率将下降到45FPS。
小场景下的视频拼接（输入分辨率为640320）
对于小场景下的视频拼接技术，由于小场景下图像信息量较少，将会一定程度的加快图像的处理速度，大大的加快了融合速度，对于视频拼接的平均帧率提升明显，但是对于运动物体穿过缝合线导致的鬼影较为明显。通过本文中提出的检测运动物体更新缝合线来解决鬼影的方案，牺牲了较大的帧率，在运动物体出现在重叠区域时，将会耗费大量的计算机资源。
对于小场景下拼接好的视频图像进行目标跟踪，采用基于HOG特征的KCF算法，在图像输入分辨率为1280*760的情况下，效果如下
虽然小场景下包含的图像信息比较少，但是进行目标跟踪时，选定的目标框中所占用的图像信息比较多，通过样本训练滤波器时得到的滤波器将会更加准确，对后续帧的目标跟踪位置的计算自然会更加精确。
通过对拼接图像中的目标进行跟踪，可以得到，对于小场景下的目标跟踪，效果比较好，出现跟丢的概率比较低。
大场景下的视频拼接与目标跟踪
大场景下，图像信息较多，细节较多，计算机将采集到的图像进行处理时，速度将会受到一定程度的影响。
对于图像的输入分辨率而言，倘若图像输入分辨率低，则图像中的重要信息所占的像素点较少，以至于无法看清重要信息。因此，通过提高分辨率，降低处理速度，来获得质量相对较好的拼接图像。
对于1280*760的输入图像，图像融合的速度介于0.080.10S之间，帧率介于1012FPS。而对于缝合线的更新，在大场景下，一方面，对选定的运动检测区域进行直方图统计和对比时，所选的区域远大于大场景下的运动目标，导致对直方图的影响并不大；另一方面，由于重叠区域内运动物体所占的像素点较少，穿过缝合线时，基本看不出明显的鬼影，而是自然的过渡。所以视频拼接在大场景下拼接质量较高，拼接速度有所减缓。
由于大场景的原因，对固定的两个USB摄像头，可以免去运动物体检测以及拼接模板更新这一步骤，这样将会是整个视频拼接更加流畅，提高其平均速度。
对于不固定的两个摄像头，需要选择运动物体检测，通过移动两个摄像头，改变其相对位置，自动或者通过控制台手动进行模板更新。
下图为实际应用
大场景下的视频拼接
对于大场景下的目标跟踪，虽然图像信息较多，但是选定的跟踪目标所占的像素比例较少，效果将会有一定程度的降低。利用基于HOG特征的KCF算法对大场景下拼接好视频的图像帧进行运动目标跟踪，效果如下图，
在大场景下，对拼接视频中运动的目标进行目标跟踪时，效果与小场景相比，相对较差，跟踪目标框中信息较少导致训练的滤波器不够准确，并且容易受到周围环境的干扰。但是对于基于HOG特征的KCF算法在视频拼接应用，总体效果还是比较好的。
实时性的可行性分析
本实验采用的是双路USB摄像头进行实时采集，其采集速率只有25-30FPS，严重影响程序的处理速度，所以如果采用高速摄像头，则可以大为提升实时性。
于是，考虑用已经采集好的视频序列进行输入，替代摄像头的实时采集，在视频拼接和目标跟踪同时进行的情况下，可以达到23FPS，近似满足于实时性条件。效果如下，
而如果只是单纯的进行视频拼接，显然能够提升拼接速度。
况且实验采用的是联想Z410笔记本电脑，未采用GPU加速，因此，速度提升的方法还有很多。
下面给出demo下载地址
https://download.csdn.net/download/qq_28901541/10747926
或者直接去我的下载资源下寻找该资源连接
其中只给了demo，附带了使用说明，只有release版本，由于一些原因，暂不考虑给出具体代码，望各位谅解。
本文为CSDN原创文章，转载请注明出处
双摄像头的实时视频拼接及目标跟踪（七）相关推荐
- 双摄像头的实时视频拼接及目标跟踪（一）
本文为CSDN原创文章,转载请注明出处 本章主要讲opencv stitching_detail的图像拼接算法 对原理性的东西不多赘述,具体可以参见该大佬的文章 https://blog.csdn.n ...
- 基于Opencv的简单双摄像头图像实时拼接
#include"opencv2/opencv.hpp" using namespace cv; 行数相等拼接 同行拼接 Mat comMatR(Mat Matrix1,Mat M ...
- 全景视频拼接（二）：双摄像头获取视频
项目要求:利用双摄像头同时采集两个视频,离线拼接,将两个视频拼接成一个视频. 该部分代码实现功能: 利用双摄像头获取视频 #include <iostream> #include < ...
- 手机双摄像头原理及产业解析----转载
这个文章写得很好,特此转载,并致谢! 原文见于: https://blog.csdn.net/piaoxuezhong/article/details/79053974#comments 前记:本篇是 ...
- Camera--（7）手机双摄像头原理及产业解析
本篇是对手机双摄原理及应用现状,未来布局的汇总. 为什么会出现双摄像头手机? 智能手机市场一直都是群雄争霸,竞争非常激烈.随着时代的发展,各大手机厂商的竞争焦点从以前的硬件军备竞赛逐渐延伸到影音娱乐领 ...
- 双眼可以测距和建立立体环境，双摄像头可以吗？
编辑丨3D视觉工坊 点击进入->3D视觉工坊学习交流群 观点一 作者|robot9野生程序猿 https://www.zhihu.com/question/23418797/answer/395 ...
- Swin-Transformer又又又下一城 | 看SwinTrack目标跟踪领域独领风骚
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 来源丨集智书童 作者丨ChaucerG Transformer最近在改进视觉跟踪算法方面显示出强大的潜 ...
- P2B: Point-to-Box Network 点云目标跟踪（CVPR 2020）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者: 不知道叫什么好 https://zhuanlan.zhihu.com/p/146512901 ...
- ECCV 2020 | 腾讯优图8篇论文入选，涵盖目标跟踪、行人重识别、人脸识别等领域...
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要10分钟 Follow小博主,每天更新前沿干货 来源:腾讯优图 近日,计算机视觉方向的三大国际顶级会议之一的ECCV 2020公布论文获奖结果 ...
最新文章
- 24Visitor(访问器)模式
- NeurIPS 2019截稿期服务器被挤爆，投稿数增长40%创历史新高
- [数据结构与算法]平衡二叉树实现
- Servlet、Tomcat、 SpringMVC 之间的关系
- javascript 盒子模型
- PushMe(交互式)
- 3分钟融云Demo体验：IM即时通讯篇
- Selenium的定位元素
- python中修饰器_python 中的修饰器
- 转行互联网，软件测试VS前端编程，到底那个是更好的选择？
- mysql 计算天数去除第二和第四个周日_123走起，MySQL每秒57万的写入
- java冒泡排序菜鸟教程_排序算法总结 | 菜鸟教程
- 如何通过细节来看业务流程ERP管理系统的成熟度？
- 计算机操作系统复习题
- Gentoo 软件包冲突
- WP短代码实现“chat”文章聊天形式 文章也能活跃起来
- 企业运维容器之 docker 安全
- springboot跳转外部链接
- ubuntu 64bit 兼容运行32bit 的方法
- java循环队列入队出队算法_循环队列实现