你动、蒙娜丽莎跟着一起动,OpenCV这么用,表情口型造假更难防了
梅宁航 发自 凹非寺
量子位 报道 | 公众号 QbitAI
有没有想过让蒙娜丽莎跟着你的表情动,来一番亲切的交流?
Aliaksandr的一阶运动模型(First Order Motion Model)可以实现,但是实现过程非常复杂且繁琐。
一阶运动模型功能强大,可以在未经预训练的数据集上对图像和视频进行特效生成,但代价是安装配置比较繁琐。
能不能简单一点,再简单一点?
印度一位程序员阿南德·帕瓦拉(Anand Pawara)设计了基于OpenCV实现的实时动画特效。
毕竟OpenCV是成名已久的跨平台视觉库,是事实上的计算机视觉领域的标准库。
项目中涉及的人脸识别、动作识别和运动跟踪,均在OpenCV库中原生支持。
几天前,阿南德在GitHub上开源了完整代码,并给出实现具体过程。
走过路过,不要错过。
安装过程
1、安装依赖模块
安装依赖模块:
pip install -r requirements.txt
安装pytorch 1.0.0 :
pip install torch===1.0.0 torchvision===0.2.1 -f https://download.pytorch.org/whl/cu100/torch_stable.html
2、下载配置文件(如果不能下载,文件链接在文末)
gdown —id 1wCzJP1XJNB04vEORZvPjNz6drkXm5AUK
3、运行程序
运行文件 :
python image_animation.py -i path_to_input_file -c path_to_checkpoint
针对摄像头的实时特效生成 :
python .\image_animation.py -i .\Inputs\Monalisa.png -c .\checkpoints\vox-cpk.pth.tar Run application from video file : python image_animation.py -i path_to_input_file -c path_to_checkpoint -v path_to_video_file
针对既有视频的特效生成 :
python .\image_animation.py -i .\Inputs\Monalisa.png -c .\checkpoints\vox-cpk.pth.tar -v .\video_input\test1.mp4
如果你想上手试试,只需要调整相关配置文件即可。
模型分为两种使用模式,一种是较为常规的导入视频常规方法,另外一种就是实时生成视频特效。
但是,请注意,一定要使用pytorch 1.0.0版本,因为更高的版本在后端依赖的一阶模型上存在问题。
按照作者的后续计划,会推出客户端程序,并且会增加假声(deepfake voice)功能。
立足OpenCV的优化
阿南德所做的工作是简化现有的一阶运动模型(First Order Motion Model),使用OpenCV对视频进行特效生成。
项目的后端支持由OpenCV库完成,避免使用复杂的模型,降低使用门槛。
按照作者观点,使用这个模型只需要对一类数据集进行训练后,便可应用到对其全部事物上去,即具有较好的泛化能力。
不同于原一阶模型的多个数据集测试效果,现在阿南德实时动态特效模型还只在人脸数据集上进行测试,后续后持续增加其他数据集。
这个模型的特点是易用,配置非常简单,基本可以开箱即用,即使是训练自己的数据集也会比较简单。
因为立足于对现有资源进行优化配置,操作简易,功能强大。
当然,简单也会带来问题,比如现在数据集较为单一,针对的主要是人脸数据集。
此外,对人脸的轮廓识别效果还不那么令人满意,需要加以改造。
作者简介
项目作者阿南德·帕瓦拉(Anand Pawara)是印度AvenDATA公司的一名深度学习工程师,现居孟买。
繁琐的工作自动化,大幅度降低上手的难度。
完整实现过程连接在下面,如果有兴趣,欢迎自己去试试哟~
参考链接:
https://github.com/anandpawara/Real_Time_Image_Animation
https://m.weibo.cn/1402400261/4508119667605445
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
喜欢就点「在看」吧 !
你动、蒙娜丽莎跟着一起动,OpenCV这么用,表情口型造假更难防了相关推荐
- 让图片动起来,特朗普和蒙娜丽莎深情合唱《Unravel》
作者 | Jack Cui 来源 | Jack Cui(ID:JackCui-AI) 前言 让一张图片,动起来,应该怎么做? DeepFake 一阶运动模型,让万物皆可动. 利用这项技术,用特朗普和蒙 ...
- AI算法让图片动起来,特朗普和蒙娜丽莎深情合唱《Unravel》
点赞再看,养成习惯,微信公众号搜索[JackCui-AI]关注这个爱发技术干货的程序员.本文 GitHub https://github.com/Jack-Cherish/PythonPark 已收录 ...
- 用 AI 分析蒙娜丽莎的微笑,情绪分析认为她没那么高兴
作者:孙晓 编辑:麦芽杨 凝音 来源:我是科学家iScientist 本文约2800字,建议阅读6分钟 本文为你介绍用算法洞察真实情绪. 合肥工业大学情感计算研究所一直致力于情绪分析的研究,本文为孙晓 ...
- 第十六届全国大学生智能车竞赛技术报告 | 单车拉力组- 上海海事大学-骑摩托的蒙娜丽莎
简 介: 本文设计的智能车系统以 STC16F40K128微控制器为核心控制单元,通过车体前方的电感检测赛道电磁信息,通过编码器检测智能车的实时速度,利用陀螺仪检测小车姿态,使用PID 控制算法调节电 ...
- 眨眼算什么,让蒙娜丽莎像你一样唠上嗑才算硬核
第一次写文章还把蒙娜丽莎名字写错了,原谅四川人我N.L不分,蒙娜丽莎表示有很多话要说.这不,三星莫斯科AI中心和Skolkovo 科学技术研究所(DeepWarp也是他们的作品)在19年5月份就发表了 ...
- 骑摩托的蒙娜丽莎 - 曼妙风骚的花式慢跑算法
简 介: 你没有想到吧,在第十六届全国大学生智能车竞赛单车拉力组获得单车比赛全国冠军的队伍的单车控制算法居然是PID参数调整不当造成的振荡现象!没错,出乎所有人的意料.下面让我们看看来自上海海事大学单 ...
- 英伟达验证图片加载不出来_让大卫雕塑跳舞、蒙娜丽莎说话,英伟达视频合成有如此多「骚操作」...
用视频到视频的合成技术生成会跳舞的小哥哥(小姐姐) 或自己本人已经不是什么无法解决的问题,但这些方法通常需要大量目标人物的数据,而且学到的模型泛化能力相对不足.为了解决这个问题,来自英伟达的研究者提出 ...
- AI用50个三角形画出抽象版蒙娜丽莎,有股后现代的感觉了 | 谷歌大脑出品
明敏 发自 凹非寺 量子位 报道 | 公众号 QbitAI 现在,给AI一个短语和50个三角形,它就能创作一副极简风格的抽象画了. 只需输入"a drawing of cat(一张猫的画像) ...
- 蒙娜丽莎,品牌创新的探索者
在只要能生产出类似的产品就能赚到钱,大家都把精力放在捕捉现有市场机会的2000年左右,蒙娜丽莎试水品牌高度的产品创新,从无差异的品牌战略转向有限的差异化多品牌战略,这一成功转型无疑是蒙娜丽莎十年品牌路 ...
最新文章
- TF之NN:利用DNN算法(SGD+softmax+cross_entropy)对mnist手写数字图片识别训练集(TF自带函数下载)实现87.4%识别
- c语言字母输出什么意思,C语言中字符的输入输出以及计算字符个数的方法详解...
- 一个最简单的用SAP UI5实现的live search demo,完整代码只有55行
- Linux基础入门(一)
- Java中的mapreduce没了_MapReduce的过程总结
- 迷宫问题 (dfs)
- java当前类路径_java获取当前类的绝对路径
- 源码分析之String
- 数据结构与算法python—12.二叉搜索树及python实现与leetcode总结
- 【Python 3.7】熟食店:创建一个名为 sandwich_orders 的列表,在其中包含各种三明治的名 字;再创建一个名为 finished_sandwiches 的空列表……
- matlab进行预测误差过大,神经网络预测误差太大怎么办,如何看预测结果
- 鲲志说:向我跌宕起伏,喜忧参半的2022致敬!
- linux服务器硬件配置,linux服务器硬件配置要求是多少
- DICOM医学影像协议
- docker安装torna1.16.2
- Cerebral Cortex:岛叶二分法在情绪面孔内隐检测中的应用
- h5 bootstrap 小程序模板_汉中餐饮行业支付宝小程序模板
- 想给MAC电脑换个壁纸?苹果电脑壁纸桌面怎么换?
- hudson搭建经验总结
- R语言题目及参考答案(2)