多路视频实时全景拼接算法
本文原载于我们的主页，转载于此。
多路视频实时全景拼接算法是我们比较成熟的产品算法，具体Demo可参见我们的Youku主页。
功能
本算法模块对来自多路摄像机的视频图像进行实时的无缝拼接融合，形成一路具有更宽视角的视频。特别的，可以输出360度全景视频，甚至360度*180度的球面全景。
算法分为两部分，一部分为标定过程，在进行实时拼接前，通过拍摄场景图片，计算各相机的畸变系数和相机之间的变换系数；另一部分为实时拼接过程，利用前面计算出的变换系数对来自各相机的图像进行实时去畸变、拼接，曲面投影，MultiBand融合。
根据用户需要，算法可以将全景图投影到圆柱面、球面等曲面上。
性能
模块基于CUDA实现，使用CUDA显卡完成计算，CPU开销很低。
测试环境：
GTX750Ti，I7 4790k 睿频4GHz，8G DDR3 2400MHz，Win8 64.
六路1920*1080拼接，输出6912*1024：
17fps，CPU总占用率百分之15（包含测试程序中未优化的视频解码、显示等开销）。
四路704*576拼接，输出1824*544；
80fps，CPU总占用率百分之12（包含测试程序中未优化的视频解码、显示等开销）。
适用场景与约束
首先，算法要求各相机间的相对位置、角度在实时拼接过程中保持固定，且相邻相机的视野有一定重合区域。
理论上能够变换到同一视角下进行无缝拼接的场景有两种，一种是多摄像机共中心放置，中心开花状；一种是摄像机位置任意，但场景是一个平面。当场景为远景，且场景-摄像机距离远大于摄像机之间的距离时，也可以近似看做第二种情形。上述情形之外的情况均不可拼，这是一个原则性的限制。
理论上算法对输入视频路数、输出分辨率没有限制，实际应用中这个限制来自于显卡计算能力和显存大小。
由于基于CUDA，所以算法可以扩展到多显卡并行处理（目前仍是单显卡架构），这样就可以实现大规模拼接与融合的处理。
应用
本算法可以应用于安防监控、智能交通、卫星照片拼接、虚拟场景等领域。
优势
本模块较同类产品的突出优势是性能，由于基于CUDA显卡计算，模块具有高度的实时处理能力，能保证在简单的单显卡上实现出高分辨率多路视频拼接融合的功能，或者在多显卡计算环境下实现大规模视频/图片拼接融合的任务。
基于CUDA计算的另一个优势是，较FPGA等方案，开发周期更短，易维护且成本低廉。目前Nvidia已经推出基于Tegra的嵌入式开发组件Jetson TK1，本模块可以容易的从PC平台移植到嵌入式平台。
多路视频实时全景拼接算法相关推荐
- 高糊视频秒变4K！Facebook发布低分辨率视频实时渲染算法，网友：是好东西，但是玩不起...
贾浩楠 发自 凹非寺 量子位 报道 | 公众号 QbitAI 还记得那个引来巨大争议,最后把LeCun逼退推特的低分辨率图像还原算法PULSE吗? PULSE是针对低分辨率图像进行还原的,而就在PUL ...
- 高糊视频秒变4K！Facebook发布低分辨率视频实时渲染算法，网友：是好东西，但是玩不起
还记得那个引来巨大争议,最后把LeCun逼退推特的低分辨率图像还原算法PULSE吗? PULSE是针对低分辨率图像进行还原的,而就在PULSE问世不久后,一个针对模糊视频进行实时高分辨率渲染的算法问世 ...
- 多路视频数据实时采集系统设计与实现
多路视频数据实时采集系统设计与实现 常永亮 王霖萱 常馨蓉 摘要 面对越来越多的实时视频采集.播放的应用,如何能更加方便的操控视频采集,保证流畅的播放效果,成为近几年实时媒体流的一个重要研究方向 ...
- 使用YOLOv5实现多路摄像头实时目标检测
文章目录 前言 一.YOLOV5的强大之处 二.YOLOV5部署多路摄像头的web应用 1.多路摄像头读取 2.模型封装 3.Flask后端处理 4.前端展示 总结 前言 YOLOV5模型从发布到现在 ...
- WebRTC音视频实时传输与服务质量
为了保证音视频的质量,WebRTC底层做了大量的工作,尤其是网络传输与服务质量,更是其核心技术,本文由北京音视跳动科技有限公司 首席架构师 李超在LiveVideoStack线上分享的演讲整理而成,详 ...
- 4K60帧视频实时抠图，连头发丝都根根分明
看这一头蓬松的秀发,加上帅气的动作,你以为是在绿幕前拍大片? No.No.No 这其实是AI拿来视频实时抠图后的效果. 没想到吧,实时视频抠图,现在能精细到每一根发丝. 换到alpha通道再看一眼,不 ...
- 基于DSP技术的多路语音实时采集与压缩处理系统
在语音的数字通信和数字存储等应用领域,需要对多路语音信号进行实时采集和压缩处理［1］.如某语音记录设备,需要对8路语音信号进行实时采集和压缩处理,而且要求对采集到的语音数据的压缩率尽量高.一般地,当要 ...
- mask rcnn算法分析_实例分割综述（单阶段/两阶段/实时分割算法汇总）
作者:Danny明泽 来源:公众号@3D视觉工坊 链接:实例分割综述(单阶段/两阶段/实时分割算法汇总) 简介 目标检测或定位是数字图像从粗到细的一个渐进过程.它不仅提供了图像对象的类,还提供了已分类 ...
- 腾讯多媒体实验室：基于三维卷积神经网络的全参考视频质量评估算法
腾讯有多个视频业务线,点播视频有腾讯视频.企鹅影视,短视频有微视.K歌,直播类有Now直播.企鹅电竞,实时传输类有QQ和微信的音视频通话.无线投屏和腾讯会议等. 用户对不同的产品有不同程度的期待:比如 ...
最新文章
- php获取 POST请求的数据
- 【Tools】MarkDown教程(八)-Typora使用完全手册
- sql server常用函数积累
- 排序提示若执行此操作所有合并单元格需大小相同
- “数学不好，干啥都不行！”骨灰级程序员：别再瞎努力了！
- 数据结构上机实践第四周项目5 - 猴子选大王
- JS与Jquery学习笔记（二）
- 手持式矢量网络分析仪
- 上海市新能源汽车分时租赁规划策略研究
- element-ui使用踩坑记录 2022/8/24
- 台式计算机如何联络无线网,台式电脑怎么无线上网
- KILE 报 contains an incorrect path. 错误
- 高新技术企业认定专项审计报告包含报告？专审收费标准
- echarts X轴文字竖向排列 ,一行两字竖向排列或旋转角度排列
- 未明学院：国际政治专业出身，如何pk掉港大、美籍商科生，拿下亚马逊市场部德勤offer！
- poj2976 01分数规划
- 树莓派安装Ubuntu系统详细过程
- 弘辽科技：拼多多想自立门户，正式上线多多钱包
- HDU 1218（Blurred Vision）
- 【转】KCP快速可靠协议