深度学习-智能视频监控

Deep Surveillance with Deep Learning – Intelligent Video Surveillance

原文地址：

https://data-flair.training/blogs/deep-surveillance-with-deep-learning-intelligent-video-surveillance-project/

监视安全是一项非常乏味和耗时的工作。在本文中，将构建一个自动分析视频监视任务的系统。将实时分析视频反馈，并识别任何异常活动，如暴力或盗窃。

其中，视频监控行业正在进行大量的研究，央视视频的作用已经过大。监控和保安的地方到处都有闭路电视摄像机。

近十年来，用于深度监视的深度学习算法有了很大的发展。这些进展已显示出深入监视的一个基本趋势，并有望大幅提高效率。深度监视的典型应用是盗窃识别、暴力检测和爆炸机会检测。

Intelligent Video Surveillance with Deep Learning

将使用时空编码器来识别异常活动。

网络架构

通常看到用于计算机视觉、图像分类和目标检测任务的深层神经网络。在这个项目中，必须将深度神经网络扩展到三维，以学习视频馈送的时空特征。

针对这个视频监控项目，将介绍一种基于三维卷积网络的时空自动编码器。编码器部分提取空间和时间信息，然后解码器重构帧。利用重建批次与原始批次之间的欧氏距离计算重建损失，识别异常事件。

视频监控异常事件检测数据集 The dataset for abnormal event detection
in video surveillance

以下是用于训练异常检测任务模型的综合数据集。

CUHK Avenue Dataset

这个数据集包含16个训练和21个测试视频片段。视频总共包含30652帧。

训练视频包含正常情况下的视频。测试视频包含标准和异常事件视频。

数据集下载链接：

http://www.cse.cuhk.edu.hk/leojia/projects/detectabnormal/dataset.html

UCSD pedestrian Dataset

这个数据集包含行人视频。包括一组走向、离开和平行于摄像机的人。

异常事件包括

非行人实体

异常行人运动模式

数据集下载链接：http://www.svcl.ucsd.edu/projects/anomaly/dataset.html

Project Source Code

在继续之前，请下载在这个深度学习项目中使用的源代码：视频监控项目代码

Video Surveillance – Anomaly Even Detection
Code

视频监控-异常偶数检测代码：

首先，下载上述任何一个数据集并将其放入名为“train”的目录中。

生成新的python文件train.py并粘贴以下步骤中描述的代码：

一. Imports

from keras.preprocessing.image import
img_to_array,load_img
import numpy as np
import glob
import os
from scipy.misc import imresize
from keras.layers import
Conv3D,ConvLSTM2D,Conv3DTranspose
from keras.models import Sequential
from keras.callbacks import ModelCheckpoint,
EarlyStopping
import imutils

二. 初始化目录路径变量并描述处理和存储视频帧的函数Initialize directory path variable and describe a function to process and store video frames：

store_image=[]
train_path=’./train’
fps=5
trian_videos=os.listdir(‘train_path’)
train_images_path=train_path+’/frames’
os.makedir(train_images_path)
def store_inarray(image_path)
image=load_img(image_path)
image=img_to_array(image)
image=cv2.resize(image, (227,227), interpolation = cv2.INTER_AREA)
gray=0.2989image[:,:,0]+0.5870image[:,:,1]+0.1140*image[:,:,2]
store_image.append(gray)

三. Extract frames from video and call store function:

from video and call store function
for video in train_videos:
os.system( ‘ffmpeg -i {}/{} -r 1/{} {}/frames/%03d.jpg’.format(train_path,video,fps,train_path))
images=os.listdir(train_images_path)
for image in images:
image_path=framepath+ ‘/’+ image
store_inarray(image_path)

四. Store the store_image list in a numpy file “training.npy”

store_image=np.array(store_image)
a,b,c=store_image.shape
store_image.resize(b,c,a)
store_image=(store_image-store_image.mean())/(store_image.std())
store_image=np.clip(store_image,0,1)
np.save(‘training.npy’,store_image)

五. Create spatial autoencoder architecture

stae_model=Sequential()
stae_model.add(Conv3D(filters=128,kernel_size=(11,11,1),strides=(4,4,1),padding=‘valid’,input_shape=(227,227,10,1),activation=‘tanh’))
stae_model.add(Conv3D(filters=64,kernel_size=(5,5,1),strides=(2,2,1),padding=‘valid’,activation=‘tanh’))
stae_model.add(ConvLSTM2D(filters=64,kernel_size=(3,3),strides=1,padding=‘same’,dropout=0.4,recurrent_dropout=0.3,return_sequences=True))
stae_model.add(ConvLSTM2D(filters=32,kernel_size=(3,3),strides=1,padding=‘same’,dropout=0.3,return_sequences=True))
stae_model.add(ConvLSTM2D(filters=64,kernel_size=(3,3),strides=1,return_sequences=True, padding=‘same’,dropout=0.5))
stae_model.add(Conv3DTranspose(filters=128,kernel_size=(5,5,1),strides=(2,2,1),padding=‘valid’,activation=‘tanh’))
stae_model.add(Conv3DTranspose(filters=1,kernel_size=(11,11,1),strides=(4,4,1),padding=‘valid’,activation=‘tanh’))
stae_model.compile(optimizer=‘adam’,loss=‘mean_squared_error’,metrics=[‘accuracy’])

六. Train the autoencoder on the “training.npy” file and save the model with name “saved_model.h5”

training_data=np.load(‘training.npy’)
frames=training_data.shape[2]
frames=frames-frames%10
training_data=training_data[:,:,:frames]
training_data=training_data.reshape(-1,227,227,10)
training_data=np.expand_dims(training_data,axis=4)
target_data=training_data.copy()
epochs=5
batch_size=1
callback_save = ModelCheckpoint(“saved_model.h5”, monitor=“mean_squared_error”, save_best_only=True)
callback_early_stopping = EarlyStopping(monitor=‘val_loss’, patience=3)
stae_model.fit(training_data,target_data,
batch_size=batch_size, epochs=epochs, callbacks = [callback_save,callback_early_stopping])
stae_model.save(“saved_model.h5”)

运行此脚本以训练并保存自动编码器模型。

现在制作另一个python文件“train.py“并在任何自定义视频上观察异常事件检测的结果。将下面的代码粘贴到“train.py”

import cv2
import numpy as np
from keras.models import load_model
import argparse
from PIL import Image
import imutils

def mean_squared_loss(x1,x2):
difference=x1-x2
a,b,c,d,e=difference.shape
n_samples=abcde
sq_difference=difference**2
Sum=sq_difference.sum()
distance=np.sqrt(Sum)
mean_distance=distance/n_samples

return mean_distance

model=load_model(“saved_model.h5”)

cap = cv2.VideoCapture("__path_to_custom_test_video")
print(cap.isOpened())

while cap.isOpened():
imagedump=[]
ret,frame=cap.read()

for i in range(10):
ret,frame=cap.read()
image = imutils.resize(frame,width=700,height=600)

frame=cv2.resize(frame, (227,227), interpolation =
cv2.INTER_AREA)
gray=0.2989frame[:,:,0]+0.5870frame[:,:,1]+0.1140*frame[:,:,2]
gray=(gray-gray.mean())/gray.std()
gray=np.clip(gray,0,1)
imagedump.append(gray)

imagedump=np.array(imagedump)

imagedump.resize(227,227,10)
imagedump=np.expand_dims(imagedump,axis=0)
imagedump=np.expand_dims(imagedump,axis=4)

output=model.predict(imagedump)

loss=mean_squared_loss(imagedump,output)

if frame.any()==None:
print(“none”)

if cv2.waitKey(10) & 0xFF==ord(‘q’):
break
if loss>0.00068:
print(‘Abnormal Event Detected’)
cv2.putText(image,“Abnormal Event”,(100,80),cv2.FONT_HERSHEY_SIMPLEX,2,(0,0,255),4)

cv2.imshow(“video”,image)

cap.release()
cv2.destroyAllWindows()

现在，运行这个脚本并观察视频监控的结果，将突出显示异常事件。

Summary

在这个深度学习项目中，训练一个异常事件侦测的自动编码器。在普通视频上训练自动编码器。根据自定义视频源的欧氏距离和自动编码器预测的帧来识别异常事件。
为异常事件设置了一个阈值。在这个项目中，是0.0068；可以改变这个阈值来实验获得更好的结果。

深度学习-智能视频监控相关推荐

360°大视野安全帽识别系统-深度学习智能视频分析
经济飞速发展,科技进步日新月异.360°大视野安全帽将有效保证工地.矿区等易有掉落物体的作业区域发生危险的几率大大降低,减少人员伤亡和财产损失,维护正常的作业秩序.安全帽识别系统运用科技手段来进行监督 ...
计算道路超高lisp_5G+AI超高清智能视频监控将迎来增长期
在安防行业5G+AI赋能下,高清视频将为安防行业带来重要的发展机遇期. 5G具有增强移动宽带.高可靠低时延和广覆盖大连接的优势,使AI能与物联网融为一体. AI和5G近80%的典型应用是重叠的,5G能 ...
低成本、云边端、软硬件一体化智能视频监控解决方案
背景智能视频监控是利用计算机视觉技术对视频信号进行处理.分析和理解,在不需要人为干预的情况下,通过对序列图像自动分析对监控场景中的变化进行定位.识别和跟踪,并在此基础上分析和判断目标的行为,能在异常 ...
深度学习在视频分析中的架构、算法及应用
直播与短视频业务的兴起,代表了一种内容交互方式的变化,更加追求强交互,这种变化催化了很多技术和架构的转型,由传统的传输.存储优先演进为计算与智能.本文是由360人工智能研究院视频大数据组技术负责人陈强 ...
基于SiamMask网络的智能视频监控实时人员跟踪系统
实时视频监控系统广泛应用于公共区域.商业建筑和公共基础设施等各种环境中.在不同的视频监控应用中,人的检测.分割和跟踪是一个关键和关键的任务.研究人员提出了不同的图像处理和基于人工智能的方法(包括机器和 ...
智能视频监控分析人员行为着装分析 OpenCv
智能视频监控分析人员行为着装分析通过OpenCv+yolo网络深度学习技术对现场人员行为着装分实时分析检测.我们选择当下YOLO最新的卷积神经网络YOLOv5来进行行为和着装识别检测.YOLOv5是完 ...
【智能安防】人像态势识别及其在智能视频监控中的应用
来源:警用科技安防已经成为人工智能落地场景中的重要赛道,其涉及的智能视频分析.人脸识别等关键技术也在研究领域受到了极大的关注.那么安防领域中涉及的人脸识别有何痛点?人工智能+安防的未来又有哪些新的趋 ...
深度学习赋能视频编码
深度学习赋予了诸如计算机视觉等领域新的研究契机,其应用也获得了视频编码领域的诸多关注.在LiveVideoStack线上分享中北京大学信息技术学院助理研究员王苫社详细介绍了当下深度学习在视频编码中的 ...
高孟平：深度学习是视频技术与人眼视觉连结的重要桥梁
LiveVideoStack通过邮件专访了腾讯音视频实验室专家高孟平,他聊起了自己的成长与从业经历,并畅谈了带领AI.视频处理.编解码.质量等团队打造人眼视觉为标准的视频服务平台--丽影平台的前前后后 ...

深度学习-智能视频监控

深度学习-智能视频监控相关推荐

最新文章

热门文章