是时候让AI辅助你追剧了,以《猎场》为例
前言
经过漫长的单休之后,本周终于可以双休了 :)
本来打算趁双休没事干,把最近我胡热播的电视剧《猎场》给过了,看到十多集的时候,越发看不下去了,额,怎么说呢,猎头相关的不专业,更像是《情场》,可是下载了这么多视频全集,rm 掉有点可惜,正好最近对视频分析这块比较感兴趣,因此想试试手,此外,自己一直依赖都是做人脸相关的研究应用,就先从人脸开始。:)
以上都是废话 :)
主要技术和步骤
视频抽帧
直接用cv2就可以,我才用的是秒抽一帧。
人脸检测和特征提取
人脸的检测包括人脸框,人脸识别特征,还有各种人脸属性特征:如性别、年龄、表情、颜值等。
struct FaceFeature{1: Region region,2: double age,3: double gender,4: list<double> racial,5: list<double> feature,6: double smile,7: double attractive,8: list<double> exps,
}
其中 feature
主要用来用来做聚类用;
人脸特征聚类;
人脸聚类主要用来识别出一个视频全集中到底有多少人,聚类的方法比较多,就不细扯了,在github上搜了一下,chinese_whispers_clustering
聚类算法对此类问题还算靠谱,而且dlib有对此的实现,直接拿来用(何必要重复造轮子呢:))
结果
人物聚类
识别聚类结果如下:
上面的id,代表一个人物,后面会用到。
简单的看了一下,主要的人物还算都聚起来了,很多人不认识(比较只看了十多集),也存在几个问题,可能是聚类算法的阈值选择的不太合适,如0和6都是郑秋冬,被分开了,还有346和763,另外还有21号,这个类聚合的都是误检的人脸;
应用
人物颜值排序
都说男女一号一般都是剧里的颜值担当,但在这部剧中,我是不同意的(不单单我不同意,我训练的颜值模型也不同意 :))
结果如下:
正如预期的那样,统计意义上,女性演员的颜值要高于男性演员的,此外,模型认为本剧的颜值担当竟然是363号周放演的钟淮兰,第二是346号贾衣玫,而1号女主角排第五 : )
男演员方面: 最帅的是1454号,应该是后面的剧情才出现的,没见过。第二帅是345号林拜(我也觉得他最帅,符合我直男癌的审美:)),至于0号男主角也是排第五:)
人物情绪曲线
通过分析一个人物在剧中的情绪,大致就可以知道该人物是悲剧角色,还是喜剧角色。
我们将情绪归为3类:中性为0,正向表情为1,负向表情为-1;
exp2scole = {| "Angry":-1,| "Disgust":-1,| "Fear":-1,| "Happy":1,| "Sad":-1,| "Surprise":1,| "Neutral":0| }
拿363号钟淮兰为例:
可以看到钟淮兰的在前期负向情绪为主,猜测出现的剧情在广西监狱那段。符合预期。
人物出场时间可视化
一直以来,想做的一件事就是为那些追星族把明明星在电视剧中出现都整合在一起,就可以免去为了看一个明星而需要看整部剧的烦恼了。通过在每一集中,将每个人物的出场点都可视化出来,就可以基本实现这个功能,只需要用ffmpeg 来裁剪就可以。
以16集合为例:
结果如下:
大致可以看到这这一集中,有1号,3号两位郑秋冬女朋友同时出场,估计会比较好看 :)
视频highlight裁剪
现在的很多小视频如西瓜视频上有很多电视剧的highlight,如果可以自动的highlight发现,那应该也是一个很有意思的事情,如在剧中,将1号和3号同时出现的裁剪出来,估计就会很有意思:)
贴不了视频 :)
后记
实现代码都放在github上了,地址在这VideoFace
,如果对你有帮助的话,可以给个小星星:)
额,大周末的,我这是在干啥呢。
是时候让AI辅助你追剧了,以《猎场》为例相关推荐
- 没时间看电影追剧,AI 一键让影视变漫画
点击 机器学习算法与Python学习 ,选择加星标 精彩内容不迷路 如今,电影.电视剧以及各类视频,已经成为我们生活中不可缺少的一部分.据报告,每天上传到 YouTube 的视频总时长,就需要一个人花 ...
- 斯坦福CS224n追剧计划【大结局】:NLP和深度学习的未来
一只小狐狸带你解锁炼丹术&NLP秘籍 简介 Stanford CS224n追剧计划是由夕小瑶的卖萌屋发起的开源开放NLP入门项目,借助github和微信群为大家提供同期小伙伴打卡讨论.内容沉淀 ...
- 斯坦福大学NLP公开课CS224n上映啦!华人助教陪你追剧
一只小狐狸带你解锁NLP/DL/ML秘籍 作者:小鹿鹿鹿,QvQ,夕小瑶 CS224n: Natural Language Processing with Deep Learning Stanford ...
- 联想r720自带杜比驱动下载_暑假追剧补习神器,联想M10 PLUS评测
迈入八月,暑假正当时.空调wifi西瓜,追剧游戏宅家,这样的日子的确很舒服,"假期不努力,开学徒伤悲",姑且不说要报各种兴趣班,先把主科学好就刻不容缓.联想Tab M10 PLUS ...
- C12 量子点Mini LED智屏解锁追剧新姿势
清明小长假转眼就结束了,不管愿不愿意,卑微的打工人们又要开启枯燥且无味的打工生活了.工作已经那么痛苦了,生活当然要加点色彩,作为一名合格的打工人,一定要有一份工作以外的心灵寄托,比如打打游戏.追追剧. ...
- 写代码神器!笔记本追剧办公贼爽,包邮送一台!
为回馈广大读者粉丝们的大力支持,本号主特地选了这款华硕笔记本作为抽奖礼品送给大家.这礼物呢,可手捧追剧玩游戏,也可写字撰文搞创作.无论是自己玩,还是当礼物送人,都是理想佳品. 祝所有人新的一年工作顺利 ...
- tickcount()修改成小时分钟_推出一分钟追剧新模式 首部真人漫改竖屏番《通灵妃》开播...
12月28日,首部真人漫改竖屏番<通灵妃>在腾讯微视平台正式开播,由晏紫东.黄日莹分别饰演男主夜幽冥.女主千云兮. <通灵妃>漫画作为国内流行的少女番,此次被首次改编成真人漫改 ...
- 微软推出VS Code新特性,为TypeScript和JavaScript用户提供AI辅助开发功能
除了开发人员非常喜欢的IntelliSense和代码完成之外,今年早些时候,微软还发布了IntelliCode,提供了一组AI辅助开发功能.VS Code团队现在宣布了一项新的实验性扩展,将Intel ...
- 视频编码器的智能化——AI辅助编解码的ASIC解决方案
点击上方"LiveVideoStack"关注我们 在此次LiveVideoStackCon 2021 音视频技术大会 北京站,来自镕铭半导体的刘迅思详细列举了目前常用的AI辅助编解 ...
最新文章
- 插件制作教程 php,typecho插件编写教程(二):写一个新插件
- Python基础教程:pd.drop_duplicates删除重复行的方法
- 计算机网络多元化媒体传达,【多媒体技术论文】视觉传达设计多媒体技术的应用(共4007字)...
- 聚类算法——Birch详解
- 张一鸣向盖茨基金会捐赠1000万美元 此前国内捐款1亿元用于抗疫
- jsp篇 之 指令元素和动作元素
- 聊聊Elasticsearch的CachedSupplier
- IOS开发之MapKit框架的使用
- mysql配置后无法在dos里运行
- 网站并发cpu占用率_来,控制一下 goroutine 的并发数量
- 360浏览器html文件无图标,电脑桌面360浏览器图标不见了解决方法图文教程
- 塔望3W消费战略全案|绿力冬瓜茶:老品牌的升级保卫战
- mysql fixed数据类型_MySQL数据类型有哪些?MySQL数据类型详解
- c语言链表删除重复点,【图片】想问一道链表题,如何删除重复元素【c语言吧】_百度贴吧...
- 解决Word磁盘已满不让保存的问题
- 双十一就要到啦,教你用Python制作抢购脚本,秒杀一切商品
- 悼念512汶川大地震遇难同胞——一定要记住我爱你
- java技术总结_Java技术归纳总结
- ASSERT_VALID
- 【无标题】MATLAB Runtime 安装The file is not a valid MATLAB Runtime installer for this version of MATLAB