Shot边界检测----2001-2007TRECVID比赛算法总结
概述
Shot边界检测(Shot boundary detection ,SBD)指在视频中自动检测镜头的边界,是视频分析,视频索引,视频摘要,视频搜索和其他基于内容的视频操作的基本的预处理步骤。自动SBD是2001至2007年TRECVID比赛中的一项重要内容,这七年中一共有57只不同的队伍提出了自己的SBD算法,使用的是相同的数据集和评价标准。
使用的主要方法
注:
MLrn:Machine Learning 机器学习的方法
ColHist:colour histograms(Superscript number denotes number of bins used),颜色直方图的方法,上标数字是使用的bin的数目。
Flash:针对闪光使用了特殊的方法。
LVals:在进行帧间比较的时候使用了亮度值。
Cmpr:operated only in the compressed (MPEG-1) domain (Cmpr).
AThr:使用了自适应的阈值法。
MCmp:使用了运动补偿。
Edgs:使用了边缘检测。
STmp:运用了时空特征。
Other:
1. 通过帧间比较确定shot的边界
有三种主流的方法:
1. 颜色直方图(15组)
2. 亮度值(8组)
3. 边缘(5组)
很多组会将这几种方法结合起来使用,比如2005年有4组使用了全部三种方法,取得了第三第五第六第十名。
其他通过帧间比较确定shot边界的方法还有:frame thumbnail based gray-levels,检测黑帧,检测单色帧,a non-linear state-based fusion of techniques(四种均来自IBM)……略。
1.1 使用颜色直方图
计算帧中每一个像素的颜色值,然后生成一个直方图(bin值固定但有所不同),比较邻近帧的颜色直方图,如果变化剧烈,就有可能是出现了渐变或者切变。
通常选择的还是一维的bin值较高的彩色直方图。
不同组选择的距离度量也有很多种,研究表明,较为简单的曼哈顿Manhattan距离和欧式距离就很有效了。
1.2 使用亮度值
比较不同帧之间的亮度值,并和1.1或1.3的方法或两者兼有结合使用。
1.3 使用边缘
虽然颜色直方图是确定两帧之间差别的最普遍的方法,寻找每一帧的边缘也是一种可用的方法,可以单独使用或者跟颜色直方图的方法结合起来使用。如果一组连续帧的边缘差别很大,就很有可能是出现了shot边界。
并没有一组单独使用了这种方法来做shot边界检测。
1.4其他方法
2. 寻找渐变(Gradual Transitions GTs)
切变的检测相对来说可以比较直接地判断出来,比较一下相邻帧即可。不过检测渐变时,考虑的帧数(窗口大小)是可选的。使用TRECVID所提供的数据集时,平均的渐变帧数在10帧左右。
不同组选择的窗口大小也有不同:5帧,14帧,10帧,>15帧,16帧,10-12帧都有。
IBM研究院在检测切变和渐变的时候使用了同样的方法,使用了基于图的多个帧对匹配的方法,每个帧作为图中的一个节点。帧对,最多13个,通过弧连接起来,镜头的变换在图中是一个cut?
LaBRI组使用的方法是,比较相邻的I帧来确定是否出现了shot的边界。
3. 机器学习
对样本数据使用机器学习的方法,以训练机器知晓切变和渐变的表现形式。不少组采用了支持向量机的方法来检测切变和渐变。
4.闪光检测
视频中可能会出现闪光摄影,尤其是电视新闻节目中,可能会造成shot边界的误判。有几组针对闪光摄影,灯的闪烁或者是场景中出现的光源采取了策略。对于视频做预处理,粗略地比较当前帧之前之后各两帧,如果这些帧并没有出现明显的差异,就认为是出现了flash。
5.自适应的阈值
对于不使用SVM来度量两帧之间差值的组别,必须设立一个阈值去判定这个帧是否是shot的边界帧。自适应的阈值会因视频类型不同而有所不同。
CLIPS和 RMIT使用了一个噪声因子来动态地调整阈值。IBM研究院等对Meanwhile IBM Research and U. Rey Juan Carlos considered frames either side of the frame in question to make an individual threshold for that frame.
6.运动补偿
7.时空切片
时空切片是从视频中提取出的2D图像,一个维度来自空间,一个维度来自时间,使用时空切片可以减少需要考虑的帧中区域,从而减低运算开销(香港城市大学)。
香港理工大学利用切片的连贯性进行切变和擦除的检测,将溶解和未溶解的情况进行分类。淡入和淡出被认为是溶解的特例。The Technical University of Delft 从时空的视频数据块中提取特征,作为观察时间间隔时判断镜头变换的依据。
Shot边界检测----2001-2007TRECVID比赛算法总结相关推荐
- 骑摩托的蒙娜丽莎 - 曼妙风骚的花式慢跑算法
简 介: 你没有想到吧,在第十六届全国大学生智能车竞赛单车拉力组获得单车比赛全国冠军的队伍的单车控制算法居然是PID参数调整不当造成的振荡现象!没错,出乎所有人的意料.下面让我们看看来自上海海事大学单 ...
- 奇妙的安全旅行之DES算法(一)
hi,大家好,从今天开始我们介绍加密算法中的对称加密算法.相信大家看了前几篇文章,已经对摘要算法的使用已经有了比较深的认识,摘要算法由于其算法特性,只能单向加密,无法对数据反向解密,这时对称加密算法就 ...
- 【计算机视觉算法岗面经】“吐血”整理:2019秋招面经
相关链接:[计算机视觉算法岗面经]"吐血"整理:2019秋招资料 //2018/09/28 当初开始面试时就想着,以后我一定要写一篇面经,现在是来还愿的时候了. 首先,嗯,非常感谢 ...
- 面经 | 腾讯/阿里/京东/头条/旷视等20+企业计算机视觉算法岗面经吐血整理
点击上方"AI算法与图像处理",选择加"星标"或"置顶" 重磅干货,第一时间送达 作者:夏洛的网 来源:https://blog.csdn. ...
- 别人的【计算机视觉算法岗面经】“吐血”整理:2019秋招面经
别人的[计算机视觉算法岗面经]"吐血"整理:2019秋招面经 相关链接:[计算机视觉算法岗面经]"吐血"整理:2019秋招资料 //2018/09/28 当初开 ...
- 【RF预测】基于matlab随机森林算法数据回归预测【含Matlab源码 2047期】
⛄一.随机森林算法预测简介 随机森林 (random forest) 是一种基于分类树 (classification tree) 的算法 (Breiman, 2001) .这个算法需要模拟和迭代, ...
- 【RF分类】基于matlab随机森林算法数据分类【含Matlab源码 2048期】
⛄一.获取代码方式 获取代码方式1: 完整代码已上传我的资源:[RF分类]基于matlab随机森林算法数据分类[含Matlab源码 2048期] 获取代码方式2: 付费专栏Matlab智能算法神经网络 ...
- 目标检测算法SSD结构详解
❝ 上期我们一起学习了Faster RCNN的损失函数以及如何进行模型训练的相关知识,如下: Faster RCNN的损失函数以及模型训练流程 ❞ 本文主要学习: One-Stage / Two-St ...
- 重磅!刷新两项世界纪录的腾讯优图人脸检测算法DSFD开源了!
近日,知名开源社区Github上有个名为DSFD(Dual Shot Face Detector)的算法引起了业内关注,它正是来自于腾讯优图.目前,该算法已经被计算机视觉顶级会议CVPR 2019接收 ...
最新文章
- Jenkins安装plugin
- Servlet--04--doGet()与doPost()区别;Servlet常见错误;
- C#3.0 为我们带来什么(5) —— 匿名类型
- ftp无法显示服务器web文件夹,Web和Ftp服务器.ppt
- 12-思科防火墙:ASA会话超时
- 亚信安全发布“安全定义边界”2020发展理念 赋能企业在5G时代的数字化安全运营能力
- ikvm.net简介
- vant 上传附件后回显_Vue + VantUI Uploader 上传组件, 实现上传功能, 但 手机实时上传照片只回显, 上传不上去 。...
- python制作u盘病毒_十行代码--用Python写一个USB病毒!
- linux下安装rar解压包
- html中倒计时精确到毫秒,倒计时功能 精确到毫秒
- php parse_url,pathinfo,basename函数
- 如何制作媲美memz的炫酷特效恶搞程序
- java 添加jbutton_在java中怎样在JLabel上添加JButton呢
- c4d-c4d制作全景视频和全景图片
- Python 计算平方数
- PCB板检测机(PCB板外观缺陷视觉检测设备)
- 格拉姆角场GAF将时序数据转换为图像并应用于故障诊断
- DNS服务器原理介绍(一)
- Linux集群之自我搭建(虚拟机固定ip与联网)