我们先试想一下，如果你是一个初入职场的娱乐小记，有幸采访到了自己的爱豆。结束后，小鹿乱撞的你正准备赶紧写篇推文大火一把，却猛然发现，由于你太激动只顾拍照却忘了录像，爱豆一去不复返……

为了补救一下，你灵机一动，退而求其，想把一张张生硬的照片变成动图(Image Animation)，那接下来该如何操作呢？ 学者Siarohin在Neur IPS(神经信息处理系统大会)上，分享了自己的研究：“首先我们需要生成一个视频序列，再使源图中的对象(面孔等)根据这个序列来驱动，我们称这个序列为驱动视频。这项技术框架属于无监督学习方法，所以不需要预先给数据对象打标，只需要让它在一系列描述同一类物体(如面孔、人体)的视频上被训练过，这种算法就可以广泛运用于这类对象。

为了实现这一点，使用了一种自监督的学习方程，剥离了外形信息和运动信息。同时为了适应更复杂的运动，我们设计了一种表示法，它由一组与对象局部放射变换相协同的学习关键点组成的。

在目标物体动起来时，一个生成器的网络模型开始学习它的运动数据，与此同时，由将从源图片提取的外形信息和和视频里提取的运动信息相结合。这项技术框架在针对各种类物体的基准测试上取得了高分。” 为了训练，我们收集了一系列包含同类对象的大量视频序列。然后通过将单帧画面和视频中学习到的动作潜在趋势相结合，训练模型重建了一个训练视频。观察两帧由从相同的视频中提取连续画面(源和驱动)，它学会将一个动作编码为特定的运动点位移(motion-specific keypoint displacement)和局部仿射变换(local affine transformations)的组合。

在测试时，我们将模型应用于由源图像和驱动视频的每一帧组成的配对，从而驱动原图像。

我们的技术框架由两个主要模块组成:运动估计模块和图像生成模块。运动估计模块的目的是预测稠密运动组合。

我们假设存在一个抽象的参考系。我们独立地估计了两个转换:从参照对象到来源和从参考参照对象到驱动。这个选择允许我们独立地处理源和驱动帧并且这是很必要的，因为在测试时，模型会接收从不同视频中采样的源图像和驱动帧的组合，它们在视觉上可能非常不同。

总结一下，第一步，通过使用以自监督方式获得的关键点学习，将一组分散的轨迹最大程度的拟合，再利用局部放射变换对每个关键点附近的运动进行建模。与仅使用关键点位移相比，局部放射变换允许我们对一个更大组合进行建模。

第二步，密集运动点阵与局部拟合，产生精密的运动区域。此外，该算法还输出一个遮挡眼膜，能计算哪些部分可以通过扭曲源图像来重建，哪些部分应该被重新绘制。

最后，我们使用一个生成器来根据精密的运动来扭曲源图像，并绘制出源图像中被遮挡的部分，最后便渲染出源图像的对应动图。

添加VX13125006136进行云计算，JAVA，大数据学习在线咨询，获取更多免费学习资料

原图像中的68个关键点是怎么获取_武汉课工场云计算培训：一级运动模型在动图中的应用...相关推荐

  1. linux中匿名用户怎么登陆_南京课工场IT培训：Linux中vsftpd服务配置（匿名，用户，虚拟用户）...

    vsftpd概述 vsftpd 是"very secure FTP daemon"的缩写,安全性是它的一个最大的特点.vsftpd 是一个 UNIX 类操作系统上运行的服务器的名字 ...

  2. 如何将动图中多余的去掉？教你快速裁剪动图

    有时候,我们在使用gif动图的过程中发现这张动图中有些多余的地方不需要,想要将这些地方去掉的时候,应该如何裁掉呢?下面,小编给大家推荐一款** **gif裁剪工具,打开浏览器搜索网站,一键就可以快速裁 ...

  3. ArcGIS中ArcMap时间滑块功能对长时间序列栅格遥感影像进行动态显示并生成视频或动图

      本文介绍基于ArcMap软件,利用时间滑块功能,对大量多时相栅格遥感影像数据进行动态显示,并生成视频或动图的方法.   首先,我们需要在ArcMap软件中新建一个镶嵌数据集,并将全部的多时像遥感影 ...

  4. visual foxpro 程序员指南_好程序员云计算培训分享云计算中SOA是什么？

    好程序员云计算培训分享云计算中SOA是什么?云计算中SOA是什么?SOA 是面向服务的架构,即企业的 IT 系统是由服务组成的,也即企业的各个应用系统是由许多标准的服务件"组装"起 ...

  5. 怎么在GIF动图中添加文字？一个方法教你快速完成GIF加字

    日常生活中我们使用表情包越来越频繁,而gif表情包占大多数.那么,当我们想要给gif动图添加上合适的文字的时候应该如何操作呢?这时只需要使用[GIF中文网]的gif加字(https://www.gif ...

  6. 请教visio-uml-活动图中动作状态和状态的区别谢谢 - 软件工程-管理 - 软件规划版...

    http://topic.csdn.net/u/20081020/11/0144812c-8962-41f8-8c27-939a035e5fe0.html?418426719 可以参考一些网站 htt ...

  7. 上海地图全图可放大_好书·推荐丨第一次将近代上海行号与地图合并在路图中，你知道是哪本书吗？...

    近年来,从事上海近代城市和建筑研究的不仅有建筑师.规划师和建筑史.城市史学家,还有社会学家.历史学家.档案学家.作家.记者等,上海近代建筑研究已经成为一门学科. 研究上海的近代城市和建筑除参考和查证中 ...

  8. php获取curl头_php中CURL请求头和响应头获取方法

    本文主要和大家分享php中CURL请求头和响应头获取方法,希望能帮助到大家. 1.从CURL中获取响应头$oCurl = curl_init(); // 设置请求头, 有时候需要,有时候不用,看请求网 ...

  9. 不同阶QAM调制星座图中，符号能量的归一化计算原理

    文章目录 前言 一.归一化能量计算原理 二.Matlab中如何得到归一化能量符号 总结 前言 在基于QAM调制的matlab仿真程序中,我们通常会产生二进制比特流,并最终映射成QAM符号,该符号大都是 ...

  10. 【知识图谱论文】使用强化学习对时间知识图中的路径进行多跳推理

    Article 文献题目:Multi-hop reasoning over paths in temporal knowledge graphs using reinforcement learnin ...

最新文章

  1. 五一减肥狂掉肉饮食法
  2. 史上最全JS表单验证封装类
  3. [算法总结] 二分查找
  4. python selenium ide使用_第 2 章　Selenium IDE 的使用 Selenium 3+Python 3 自动化测试
  5. springboot集成jsp
  6. 算法选择_快速筛出topK的快速选择算法
  7. .NET C#获取当前网页地址信息
  8. 电脑如何进入bios模式_电脑如何进入bios，你还不收藏？
  9. 用华为eNSP仿真校园网
  10. vue3.0 案例小demo
  11. tomcat乱码问题解决集合
  12. 如何把书上的字弄到电脑！
  13. IDEA利用wsdl文件生成WebService调用接口的方法
  14. spring AOP的配置
  15. JS里给日期增加n个月的方法
  16. 8.3CSS代码缩写 颜色值
  17. 秦曾昌人工智能课程---3、机器学习中的哲学
  18. CentOS6.5挂载U盘
  19. 医疗人工智能发展趋势及机遇
  20. 前端开发实习面试题（CSS篇）

热门文章

  1. 将类实现分开以及代码块
  2. Atitit 人工智能目前的进展与未来 包含的技术 v3
  3. qqzoneQQ空间漏洞扫描器的设计attilax总结
  4. Atitit.自定义存储引擎的接口设计 api 标准化 attilax 总结  mysql
  5. Paip.声明式编程以及DSL 总结
  6. paip..net 程序多语言切换开发的流程总结
  7. paip.使用继承机制来实现控制反转或依赖倒置
  8. 关于私募基金高水位业绩报酬计提的N种方式！
  9. 骆天涯:gunicorn部署Flask服务
  10. 坑杀全球顶级量化大佬的经典案例：价值投资就是看财务指标吗？