开源视频检索技术VedioSearch调研

一、概述
1、开源地址：
https://github.com/andrefaraujo/videosearch
2、说明：
该视频检索技术是由斯坦福大学的一个图片视频和多媒体小组实现，使用图片对视频内容进行检索。
目前该技术包含的功能如下表述：

提取视频的关键帧（关键帧，其实就是视频中的一张图像）。  对视频进行镜头边缘检测。
对图片或者帧提取SIFT（尺度不变特征变换，用于在图像中检测出关键点，是一种局部特征描述子）。
为每张图片/关键帧、镜头或者视频片段提取全局描述子（Fisher Vectors）。
使用Bloom Filters对每个视频片段进行索引。
使用图片对图片或者视频数据库进行检索。
用区间为0~1的平均精准度和精准度来评估检索结果。

二、检索技术实现步骤
1. 建立VLFET库（计算机视觉库）。
2. 建立YAEL库（图像检索库）。
3. 给视频数据库中的视频提取关键帧。（关键帧指的是视频中的图片。一个1分51秒的视频，关键帧有113张，一个2分51秒的关键帧大有173张，一分钟有60张左右）
4. 建立镜头边界检测器并且给数据库中的视频检测视频边界。
5. 建立SIFT（图像关键点）提取器并且给数据库中的每个关键帧提取SIFT。
6. 建立全局描述子提取器并且给每一帧、镜头和片段提取全局描述子。
7. 给用于查询的图片提取SIFT(或者全局描述子)。
8. 建立检索器，并且用它检索基于帧、基于镜头或者基于片段的索引。
9. 计算检索结果，得出平均精准度和精准度。

以上1~2步只需要最初始执行一次。之后如果往视频库中添加了视频想进行新的检索，则需要重复3~6步。如果未添加新的视频，新添加了想查询的图片，则需要重复7和9步。

三、一些专有名字的解释及资料
镜头边界检测：http://www.docin.com/p-240579569.html
SIFT：http://baike.baidu.com/item/SIFT
Fisher Vectors：http://blog.csdn.net/ikerpeng/article/details/41644197
Bloom Filters：http://blog.csdn.net/jiaomeng/article/details/1495500
VLFEAT：http://www.vlfeat.org/
YAEL：http://yael.gforge.inria.fr/
Opencv：http://baike.baidu.com/item/opencv
ffmpeg：http://baike.baidu.com/item/ffmpeg

四、自行的测试结果
该技术环境在ubuntu.14.04上面搭建成功，并且按照demo指示，测试通过。但是还不太会用….

开源视频检索技术VedioSearch调研相关推荐

这项开源视频抠图技术火了！换背景的方法着实真假难辨
参与:Racoon.张倩转自:机器之心绿幕是影视剧中抠图.换背景的利器,但如果不在绿幕前拍摄,我们还能完美地转换背景吗?华盛顿大学的研究者最近就上传了这样一份论文,不在绿幕前拍摄也能完美转换视频背 ...
基于人脸的视频检索技术研究
http://www.doc88.com/p-5314124183853.html
基于图像查询的视频检索，代码已开源！
点击我爱计算机视觉标星,更快获取CVML新技术本文为作者对AAAI 2020 论文的解读. 作者 | 徐瑞聪编辑 | Camel 本篇文章介绍上海交通大学 BCMI 实验室在AAAI 2020 上 ...
中国开源视频编辑软件行业市场供需与战略研究报告
出版商:贝哲斯咨询获取报告样本: 企业竞争态势该报告涉及的主要国际市场参与者有KDE.Heroine Virtual.OpenShot Studios, LLC.Meltytech, LLC.Fl ...
以视频搜视频？智能视频检索或将诞生新曙光
近日,抖音上线了全新功能--以视频搜视频.该技术运用了AI技术的新功能,用一个视频内的单帧画面,对比其他视频内的帧,找到其他对应的视频.相比于过去的以图搜图,视频搜视频的检索运算量明显升级. 在社会高 ...
「技术手册」淘宝推荐、视频搜索背后的检索技术竟是它！深度揭秘达摩院向量检索引擎Proxima
淘宝搜索推荐.视频搜索的背后使用了什么样的检索技术?非结构化数据检索,向量检索,以及多模态检索,它们到底解决了什么问题?今天由阿里巴巴达摩院的科学家从业务问题出发,抽丝剥茧,深度揭秘达摩院内部技术-- ...
淘宝推荐、视频搜索背后的检索技术竟是它！深度揭秘达摩院向量检索引擎Proxima
简介: 淘宝搜索推荐.视频搜索的背后使用了什么样的检索技术?非结构化数据检索,向量检索,以及多模态检索,它们到底解决了什么问题?今天由阿里巴巴达摩院的科学家从业务问题出发,抽丝剥茧,深度揭秘达摩院内部 ...
“ GPU视频处理技术调研报告 ”
本文来自英伟达高级工程师季光在LiveVideoStack 线上交流分享,并由LiveVideoStack整理而成.分享中季光详细解析了GPU在视频编解码,图像分析和视频处理方面的相关技术支持,及实 ...
【音视频第6天】基础知识-移动端实时音视频直播技术详解和开源工程WebRTC的技术原理和使用浅析
本文是系列文章中的第1篇,本系列文章的大纲如下: <移动端实时音视频直播技术详解(一):开篇> <移动端实时音视频直播技术详解(二):采集> <移动端实时音视频直播技术详 ...

开源视频检索技术VedioSearch调研

开源视频检索技术VedioSearch调研相关推荐

最新文章

热门文章