这个AI能帮你快速搜监控：文字定位关键画面，24小时录像10分钟处理完

来源：量子位

现如今，视频监控的存在帮助人们记录了许多过去难以查证的事实。

但想要在24小时不间断的监控里找到那么一两秒的“犯罪现场”，依然是一件耗费人力的事。

有没有什么好办法快速找到我们想要的画面？

还真有，几位外国小哥就开发了这么一个工具，可以10分钟处理完一个24小时的视频录像，然后用文字就能进行画面搜索，精确到每一帧的那种：

最重要的是，还免费！

如何使用？

工具名叫Sieve，中文意思就是“筛子”。

首先，需要找他们申请一个API密钥获得Sieve的使用权限。

Sieve的网站主页就有申请入口，填一下邮箱地址和姓名等简单信息就行。

然后将你收到的密钥填入这个网址：

https://sievedata.com/app/query?api_key=你的密钥

打开后就能看到如下界面：

点击“UPLOAD VIDEOS”输入一个URL就可以上传视频了。

这个URL可以是任何云存储库上的地址。

当然，也可以上传本地视频，不过就需要走命令行了——

先克隆仓库地址并安装依赖：

cd automatic-video-processing
conda create --name myenv python=3.7
conda activate myenv
pip install -r requirements.txt

然后运行脚本，使用下面这两个参数上传本地视频：

python run.py —sieve_api_key 你的密钥

平台会自动为你生成一个URL。

视频上传后，等待系统自动将数据分割成帧，并给每一帧生成相应的元数据（这些元数据就是“标记”，方便我们后续查询时定位到相应画面）。

作者表示，一个24小时长、大约有27万帧画面的视频不到10分钟就能处理完。

接着就可以开始最期待的环节——查询了。

查询需使用固定的参数。

比如选人数的person_count，我们输入“3” ，不到几秒就会出现如下结果：

嗯，很满意，连这种只露出两条腿的人它也可以检测出来：

每张图片都可以点开放大查看，右边也会显示该帧图片的原始信息。

不过似乎只有帧的位置，没有显示具体时间点。

其他参数还包括：

person_present，查询有人出现的画面（赋值为True就行）；
motion_detected，查询动态画面；
lighting，查询各种光线的画面（比如赋值fair，就代表晴天）；
loaction，查询某个地点的画面（比如赋值courtyard）；
greenery，查询有绿色植物出现的画面；
……

可以组合查询，比如找“有绿色植物、光线晴朗、出现俩人”的画面，就可以输入这样三个参数：

在找到你想要的结果后，还可以导出图片数据到本地。

以上就是这个视频检索工具Sieve的使用方法和功能。

是不是确实能使我们倒监控的效率高一些？

不过也正如一些网友所说，看起来真的很厉害，不过要是能获得一条可以知道视频中的人什么时候达到和离开的时间线，并且还能在多个摄像头之间跟踪“嫌疑人”的轨迹就更实用了。

作者则回应：正在考虑给出更多实用的查询参数。

作者介绍

Sieve的创始人之一兼CEO名叫Mokshith Voodarla，今年只有20岁，本科毕业于UC伯克利电气工程与计算机科学专业。

他曾在Scale AI从事ML工作、在福特Greenfield实验室从事计算机视觉工作，还在英伟达做过机器人技术的研究。

网站地址：
https://sievedata.com/#overview

GitHub主页：
https://github.com/Sieve-Data/automatic-video-processing

参考链接：

https://www.reddit.com/r/MachineLearning/comments/rvn3dh/p_sieve_we_processed_24_hours_of_security_footage/

欢迎大家加入DLer-计算机视觉&Transformer群！

大家好，这是计算机视觉&Transformer论文分享群里，群里会第一时间发布最新的Transformer前沿论文解读及交流分享会，主要设计方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、视频超分、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。

进群请备注：研究方向+学校/公司+昵称（如Transformer+上交+小明）