1.研究背景

近年来，随着多媒体技术的高速发展，视频数据也呈现出爆炸性的增长。基于内容的视频检索已成为当前的迫切需求。特别在电影视频领域，单纯的播放已经无法满足用户日益增长的需要。如何准确快速地按照用户的需求检索出反映观众情感变化的电影视频片段成为当前的一个研究热点。在这种环境下，电影视频景别音阶的检测便应运而生。　　在系统研究了电影导演创作手法的基础上，利用不同景别镜头的组合可以影响当前观众视觉心理这个原理，设计了一种基于电影视频的景别音阶识别与检测方法。　　通过对以往研究成果的分析，针对当前视频镜头景别的分类特征多是基于体育视频而对电影视频效果不佳的问题，结合电影领域知识构建了局部运动占有率、摄像机运动和镜头间相似度等新的特征，与常用的其他特征相结合，利用贝叶斯分类器将电影镜头分为远景镜头、中景镜头和近景镜头并与其它分类算法进行了比较和分析。　　根据景别变化同观众情感之间的关系，设计了5种能够激发观众情感的景别音阶，在景别识别的基础上实现了对景别音阶的检测。　　实验结果表明，新的特征较好地反映了不同景别的特点。与现有的其它方法相比，远景与近景的识别在准确率和查全率上均有不同程度的提高。但是由于中景镜头本身的模糊性和构建的特征不能很好地反映中景镜头的特点，导致中景的识别率并不尽如人意。景别的识别直接影响到景别音阶的检测效果，而景别识别的效果在总体上还有待改善，因此未来的研究重点在于如何提高镜头景别的识别精度

2.功能介绍

3.景别分类过程＆结果演示

4.视频展示

基于OpenCV的视频人像景别分类算法（源码＆教程）_哔哩哔哩_bilibili

5.电影作品的景别分类

为满足上述需求，我们研究了电影拍摄艺术和视觉心理等相关领域知识，发现电影的景别音阶能够有效地诱发观众的情感变化。所以，检测和识别视频片段中的景别音阶，就能在电影视频中寻找到观众情感变化的片段。这可应用在视频检索和视频点播等领域,也是电影摘要生成的关键技术之一，有着比较高的学术价值和广泛的应用前景，同时也具有一定的挑战性。
从摄影的角度来说，景别是指由于摄像机相对静止物体的运动或者物体本身的运动，造成画面上被摄物体形象的改变"。景别的划分没有一个严格的标准，通常被分为远景镜头(Long Shot)、中景镜头(Medium Shot)和近景镜头或者特写镜头(Close-up Shot)。在某些特定的场合可能需要更详细的划分，比如特写镜头可能再被划分为一般特写和大特写镜头。下面分别介绍三种景别的定义:

(1)远景

远景镜头是一种持续时间较长的镜头，它反映了较多的信息。远景镜头是一种长镜头，在电影视频中主要用来交代场景发生的时间、地点和背景信息，一般被作为过渡镜头出现在整个电影场景的开头或结尾。在远景镜头中，人体所占的面积较小。

(2)中景

中景镜头是电影视频中最常用到的一类镜头。它不像远景镜头注重整体忽略细节，也不像近景镜头突出细节抹杀整体，而是把整体的信息放到一个次要的位置。用中景来表现一个人物，其占有的空间比远景大，一般包括人体膝盖以上的范围。有的把拍摄到的人体的肩部以上的镜头也作为中景镜头，虽然这样的划分一定的主观性,但是中景镜头都能够比较清楚地看到人体的形态。

(3)近景

如果利用画面中的人物作为参考，特写镜头仅仅拍摄人物颈部以上部分，或者拍摄人体某个细节部分。相对于中景镜头来说，特写镜头更加体现人或物的细节部分，其作用是将这些细节部分从周遭环境中突显出来，特写镜头往往更具表现力，更能引发观众的注意。
不同的景别带给观众不同的感觉．比如远镜头往往交代时间、地点或者背景，给人以客观的感受;近镜头对细节的描述较多，往往容易吸引观众的注意。因此，由远镜头-中镜头-中镜头-近镜头这样的镜头组合序列，带给观众的情感是从客观转向专注;反之，由近镜头-中镜头-远镜头这样的镜头组合使观众逐渐从紧张的情绪中缓和下来;而近镜头-近镜头-近镜头这样多个连续近镜头的场景，可能是某些观众喜爱的打斗场景。一些特定景别的镜头组合，常常能够引起观众的情感共鸣。由不同景别构成，能够引起人们情感变化的镜头组合，我们就称之为景别音阶。这些表现出不同景别的镜头犹如高低音色不同的琴键，在电影这部优雅的现代钢琴上，弹奏出行云流水般的音符。

6.算法流程图

7.人脸特征

该博客提出的方法作为对象检测的一个重要组成部分，人脸检测技术长期以来受到极大的关注。在电影视频中，人是电影场景中出现最多的元素，认为电影是表现人类行为的一种艺术丝毫不为过。所以，如果能够确定电影中人脸甚至人体的位置和大小，那么判断电影视频镜头的景别也就变得相对容易。人脸的检测表示检测出视频帧画面中是否存在人脸，而人脸的定位则是在人脸存在的前提下从画面中寻找人脸对象确切位置的过程。因此，人脸的定位建立在人脸检测的基础之上。本文所关心的是人脸在画面中是否出现、大小以及位置，这就要求在具体的实现中使用人脸检测和人脸定位相结合的算法。在具体的实现中采用了adaboost 算法，采用该算法的原因是该算法的准确率高，速度较快。
人是在电影视频中出现最多的元素，人脸是人类最显著的特征。大多数情况下，画面中并不一定呈现整个人的躯体，出现的往往是包括人脸的上半身，且人脸一般出现在画面中的显著位置。通常在近景的对话镜头中，人脸所占的比例较大，且一般是正面，较容易被检测到。而对中景镜头来说，通常在一个画面中出现多个人脸，人脸占有的比例较小，而且位置也不一定在画面的中心部分。远景镜头一般并不表现人脸，多是表现一些时空间的过渡信息，即使在远景镜头中出现一些人脸,通常也难以被检测出来。
综上所述，为了识别出镜头的景别，需要在一个视频帧的画面中得到一些人脸的信息，具体有人脸出现的位置、人脸的大小以及人脸的个数。下图给出了一些人脸检测的例子。

8.代码实现

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets.samples_generator import make_classification
from mpl_toolkits.mplot3d import Axes3Ddef LDA(X, y):X1 = np.array([X[i] for i in range(len(X)) if y[i] == 0])X2 = np.array([X[i] for i in range(len(X)) if y[i] == 1])len1 = len(X1)len2 = len(X2)mju1 = np.mean(X1, axis=0)#求中心点mju2 = np.mean(X2, axis=0)cov1 = np.dot((X1 - mju1).T, (X1 - mju1))cov2 = np.dot((X2 - mju2).T, (X2 - mju2))Sw = cov1 + cov2w = np.dot(np.mat(Sw).I, (mju1 - mju2).reshape((len(mju1), 1)))  # 计算wX1_new = func(X1, w)X2_new = func(X2, w)y1_new = [1 for i in range(len1)]y2_new = [2 for i in range(len2)]return X1_new, X2_new, y1_new, y2_newdef func(x, w):return np.dot((x), w)if '__main__' == __name__:X, y = make_classification(n_samples=500, n_features=2, n_redundant=0, n_classes=2,n_informative=1, n_clusters_per_class=1, class_sep=0.5, random_state=10)X1_new, X2_new, y1_new, y2_new = LDA(X, y)plt.scatter(X[:, 0], X[:, 1], marker='o', c=y)plt.show()plt.plot(X1_new, y1_new, 'b*')plt.plot(X2_new, y2_new, 'ro')plt.show()

9.系统整合

下图源码＆环境部署视频教程＆自定义UI界面

参考博客《基于OpenCV的电影视频人像景别分类算法（源码＆教程）》

10.参考文献

[1]陈明，黄心渊．电影视听语言中的景别变化.电视字幕·特技与动画，2006,
12(8):70 -73
[2]P Xu, L Xie, SF Chang,et al. Algorithms and System for Segmentation and
Structure Analysis in Soccer Video. In Proceedings of IEEEInternationalConference on Multimedia & Expo,Dhaka, 2001:721 -724
[3]何欢欢.基于情感激励的足球视频精彩镜头提取.硕士学位论文.武汉:华中
科技大学图书馆,2008
[4]R Dahyot, N Rea,AC Kokaram. Video Shot Segmentation and Classification. In
Proceedings of The International Society for Optical Engineering, Lugano，2003:404- 413
[5]MCTien, HT Chen, YW Chen, et al.Shot classification of basketball videos and its
application in shooting position extraction. In Proceedings of IEEE InternationalConference on Acoustics, Honolulu, 2007:1085-1088
[6]Yuan Yuming, Wan Chunru. The application of edge feature in automatic sports
genre classification. In Proceedings of IEEE Conference on Cybernetics andIntelligent Systems, Singapore, 2004:1132- 1135
[7]赵丕锡,李起点,王秀坤等．足球视频中近镜头的分类方法.华南理工大学学报
(自然科学版),2007,35(9): 70 -73
[8]周艺华，曹元大，李剑等．基于颜色与边缘分布的足球视频镜头分类方法.北
京理工大学学报,2005,25(12):1079 - 1082
[9] Maria Zapata Ferrer, Mauro Barbieri, Hans Weda.Automatic classification of field
of view in video. In Proceedings of IEEE International Conference on Multimediaand Expo, Toronto, 2006: 1609-1612
[10]Ren Jinchang, Chen Juan, Jiang Jianmin, et al. Knowledge-supported segmentation
and semantic contents extraction from MPEG videos for highlight-based annotation,indexing and retrieval. In Proceedings of Advanced Intelligent Computing Theoriesand Applications, Shanghai, 2008:258-265
[11]付伟.卡通视频序列中分镜头台本要素提取研究．硕士学位论文.浙江:浙江
大学图书馆,2004
[12]Weng Ying,Jiang Jianmin.Camera motion analysis towards semantic-based video
retrieval in compressed domain. In Proceedings of Computer Artificial Intelligence,Genoa, 2007:276 - 279
[13]Ling-Yu Duan，Min Xu, Qi Tian. A Unified Framework for Semantic Shot
Classification in Sports Video.IEEE Transactions on multimedia, 2005,7(6):1066- 1083
[14]Yu Xiao-Dong,Duan Ling-Yu, Qi Tian. Shot classification of sports video based
on features in motion vector field. In Proceedings of Advances in MultimediaInformation Processing, Taiwan, 2002:253 - 260
[15]T.J.Atherton，D.J. Kerbyson.Size invariant circle detection. Image and Vision
Computing,1999,17(11):795-803
[16]吴川，马宇飞，贺玉文等.体育视频中基于语义推理的事件检测方法.电视字
幕·特技与动画, 2003,43(4): 507 - 509
[17]Tjondronegoro Dian W,Chen Yi-Ping Phoebe,Pham Binh. Classification of
self-consumable highlights for soccer video summaries. In Proceedings of IEEEInternational Conference on Multimedia and Expo, Santa Clara, 2004:579 - 582[18]Duan Ling-Yu, Xu Min, Tian Qi. Semantic Shot Classification in Sports Video. In
Proceedings of The International Society for Optical Engineering,Santa Clara,2003: 300- 313
[19]Horn BKP, Schunck BG. Determining optical flow. Artificial Intelligence,1981,
17(1):185 - 204
[20]Su Yeping, Sun Ming-Ting,Hsu Vincent,et al.Global motion estimation from
coarsely sampled motion vector field and the applications[J]. IEEE Transactions onCircuits and Systems for Video Technology, 2005,15(2): 232-241
[21]冈萨雷斯.数字图像处理.第二版.北京:电子工业出版社,2004:423- 425[22]胡喜华，刘卫忠，郑立新.运动估计块匹配算法的分析研究[J.电视技术, 2005,
12(1):4 - 6
[23]Lee I.B,Park KS. Measurement of ocular torsion using iterative Lucas-Kanade
optical flow method. In Proceedings of Annual International Conference of theIEEE Engineering in Medicine and Biology, Shanghai, 2005:6433- 6436
[24]YF Ma, L Lu, HJ Zhang, et al.A User Attention Model for Video Summarization.
In Proceedings of the tenth ACM international conference on Multimedia,Juan lesPins, 2002:533 - 542
[25]Chang Shih-Fu,Sikora Thomas,Puri Atul. Overview of the MPEG-7 standard.
IEEE transactions on circuits and systems for video technology, 2001,11(6): 688 -695
[26]Xue Xiangyang, Zhu Xingquan，Xiao Youneng, et al. Using mutual relationship
between motion vectors for qualitative camera motion classification in MPEG video.

基于OpenCV的电影视频人像景别分类算法（源码＆教程）相关推荐

Python基于Opencv的鱼群密度速度检测系统（源码＆教程）
1.研究背景智慧渔业是大数据.物联网与人工智能等现代信息技术驱动下的渔业发展新模式,是水产养殖业供给侧结构性改革的重要方式,涉及养殖环境监测.生物环境监测与生物状态监测这几大方面的应用与需求.本文从 ...
基于新唐M0的XXTEA加密解密算法源码
源:基于新唐M0的XXTEA加密解密算法源码 /*--------------------------------------------------------------------------- ...
Python基于Django的电影推荐系统和论坛项目完整源码
前些天发现了十分不错的人工智能学习网站,通俗易懂,风趣幽默,没有广告,分享给大家,大家可以自行看看.(点击跳转人工智能学习资料) 微信公众号:创享日记发送:电影论坛获取完整论文报告+项目源码源文件 ...
java 远程视频监控系统_基于android的远程视频监控系统附完整源码
[实例简介]原理:客户端将采集到的每一帧图像数据发送至服务器,服务器接收 [实例截图] [核心代码] /* * @version 1.2 2012-06-29 * @author wanghai */ ...
基于java电影评论网站系统计算机毕业设计源码+系统+lw文档+mysql数据库+调试部署
基于java电影评论网站系统计算机毕业设计源码+系统+lw文档+mysql数据库+调试部署基于java电影评论网站系统计算机毕业设计源码+系统+lw文档+mysql数据库+调试部署本源码技术栈: ...
基于JAVA教学视频平台系统计算机毕业设计源码+数据库+lw文档+系统+部署
基于JAVA教学视频平台系统计算机毕业设计源码+数据库+lw文档+系统+部署基于JAVA教学视频平台系统计算机毕业设计源码+数据库+lw文档+系统+部署本源码技术栈: 项目架构:B/S架构开发语 ...
基于协同训练的半监督文本分类算法
标签: 半监督学习,文本分类作者:炼己者 --- 本博客所有内容以学习.研究和分享为主,如需转载,请联系本人,标明作者和出处,并且是非商业用途,谢谢! 如果大家觉得格式看着不舒服,也欢迎大家去看我的 ...
Python＆OpenCV自动人脸打马赛克＆调色系统[源码＆UI操作界面＆部署教程]
1.视频演示: [项目分享]Python&OpenCV自动人脸打马赛克&调色系统[源码&UI操作界面&部署教程] 2.图片演示: 3.图像颜色检索&替换: 4. ...
基于JAVA某医院门诊预约系统计算机毕业设计源码+系统+mysql数据库+lw文档+部署
基于JAVA某医院门诊预约系统计算机毕业设计源码+系统+mysql数据库+lw文档+部署基于JAVA某医院门诊预约系统计算机毕业设计源码+系统+mysql数据库+lw文档+部署本源码技术栈: 项目 ...

基于OpenCV的电影视频人像景别分类算法（源码＆教程）