导读

01背景介绍

02业务应用

03问题分析

CVPR 2020GAN论文梳理汇总

导读

近年来，以GAN为代表的生成式技术在学术界取得蓬勃发展。在工业界，基于生成式技术的真实感效果也引领了一批爆款特效和应用。快手Y-tech在国内率先将GAN落地于短视频特效制作，并积累了丰富的实践经验，为快手各类人脸爆款特效提供有力技术支持。本文主要介绍快手在高精度人脸属性编辑方面的实践，包括性别、年龄、头发、表情等的生成。

01背景介绍

人脸特效是辅助短视频内容生产的重要组成部分，生动好玩的特效有利于促进短视频内容的消费。传统的人脸特效主要依赖于人脸二维和三维的语义理解，并结合图形图像处理、优秀的产品设计达到吸引用户的目的，但该特效制作存在真实感缺失的局限。

近些年，生成式技术如VAE、GAN、AutoRegressive Model、Normalizing Flow Model等在学术界取得了蓬勃发展。在这其中，GAN是杰出的代表，GAN通过生成器和判别器的相互博弈，使得生成器生成的数据分布接近真实数据分布。自2014年GAN提出以来，GAN生成效果逐渐逼真和高清，广泛应用于图像翻译、图像修复和增强、图像和视频合成等领域。

GAN技术对于特效生产具有重要意义：（为什么选择GAN？）

第一，GAN生成效果真实感强、清晰度高，可以做到传统特效无法实现的效果。

第二， GAN是端到端的效果输出，可节约特效制作成本。

第三，GAN可进一步实现自动化的图片和视频生产，降低短视频生产的门槛。

在工业界，GAN技术造就一批爆款特效和应用，海外如FaceAPP的变老、Snapchat的变性别，在国内，快手是最早将GAN落地于短视频特效制作的公司，本文从高精度人脸属性编辑方面介绍GAN在快手的实践工作，如性别、年龄、头发、表情等的生成和变化。

02业务应用

目前，生成式技术在高精度人脸属性方面，主要应用于快手、一甜相机等App的特效模块。

第一，快手魔表。在快手手机端魔表拍摄功能上，自2019年8月陆续推出多款魔表，如变小孩、我的一生、变性别、大笑嘟嘴等表情，给大家带来新奇体验。

1.变小孩

2.我的一生：

3.变性别：

第二，一甜相机的服务端头发自然生长。发型对于人的美感及形象是至关重要的。与脸型和五官适配的发型可以修饰面部的缺陷，提高一个人的气质与魅力。但是，人们往往没办法很快的改变自己的发型，比如自己本身是短发，想看看变成长发是否能为自己的形象气质加分，那就需要等待数月来让头发长长。传统特效采用假发贴片效果很假，侧脸角度容易露怯，利用生成式技术可实现高精度的真实感头发生成。

03问题分析

在落地实践中，需要解决如下几个关键问题。

第一，GAN训练不稳定，容易出现斑点、伪影、局部区域扭曲等问题。在落地过程中，快手将GAN模型分为两个阶段，分别为造数据模型和pixel2pixel模型。GAN训练不稳定会导致造数据阶段生成的配对数据失败率高，无法造出大量合格数据提供给后续的pixel2pixel模型，影响了项目的整体进度。

第二，不同落地终端和场景对效果要求不一。（下面从算力进行分析）

（1）服务端。服务端算力足，可采用离线处理方式，时延要求不高。但服务端上传用户图片清晰度和分辨率不一、光照角度等复杂性高。故服务端方案需要做到高清、鲁棒性好。

（2）手机端。从算力角度看，手机端算力不一，算法需跨越几百块手机到上万块手机性能，需解决低延迟和算力低的矛盾。从拍摄场景看，大部分是近距离、正常光照、小角度自拍。故需设计不同机型的细分方案，保证效果的良好体验。

第三，用户体验决定算法目标和优先级。特效最终服务于用户，拍摄体验决定算法优化方案的目标和优先级，比如头发生长需要考虑头发蓬松度和长度，变老需要考虑真实感和美观度的统一。

CVPR 2020GAN论文梳理汇总

1 【时尚编辑】Fashion Editing with Adversarial Parsing Learning

从草图free-form sketches和颜色笔触sparse color strokes来控制编辑图像。

2 【虚拟穿衣】Image Based Virtual Try-on Network from Unpaired Data

3 【图像卡通化】Learning to Cartoonize Using White-box Cartoon Representations

4 【肖像动画化】PuppeteerGAN: Arbitrary Portrait Animation with Semantic-aware Appearance Transformation

5 【草图上色、注意力机制】Reference-Based Sketch Image Colorization using Augmented-Self Reference and Dense Semantic Correspondence

6 【图像多样性】Diverse Image Generation via Self-Conditioned GANs

介绍了一种简单而有效的无监督方法来生成逼真而多样的图像。通过训练无需人工类别标签的类条件GAN模型（自动生成的标签为条件，根据在判别器特征空间聚类自动得出）。

7 【注意力机制、超分】Learning Texture Transformer Network for Image Super-Resolution

8 【基于物体布局生成】BachGAN: High-Resolution Image Synthesis from Salient Object Layout

9 【解耦表征】MixNMatch: Multifactor Disentanglement and Encoding for Conditional Image Generation

提出MixNMatch，一个可以在极小监督情况下完成对图像中的背景、物体姿势、形状和纹理等进行分开（解耦）的条件生成模型，分解后可以通过混合它们以生成新的图像。方法基于2019年的FineGAN（一个无条件的生成模型）框架进行改进，以适用于条件式的图像转换任务。所用的监督信息仅仅是bounding box，而无需其他监督信息。

10 【图像分离、去雨/反射/阴影等】Deep Adversarial Decomposition: A Unified Framework for Separating Superimposed Images

11【文档阴影去除】BEDSR-Net: A Deep Shadow Removal Network from a Single Document Image

GAN在短视频中的AI特效实践（PPT演示）相关推荐

快手Y-tech：GAN在短视频中的AI特效实践
导读近年来,以GAN为代表的生成式技术在学术界取得蓬勃发展.在工业界,基于生成式技术的真实感效果也引领了一批爆款特效和应用.快手Y-tech在国内率先将GAN落地于短视频特效制作,并积累了丰富的实践 ...
Android短视频中如何实现720P磨皮美颜录制？
视频中磨皮.美颜功能已成为刚需,那么如何在Android短视频中实现720P磨皮美颜录制?本篇文章中,网易云信资深开发工程师将向大家介绍具体的操作方法. 相关阅读推荐 <短视频技术详解:Andr ...
android 视频美颜,Android短视频中如何实现720P磨皮美颜录制？
视频中磨皮.美颜功能已成为刚需,那么如何在Android短视频中实现720P磨皮美颜录制?本篇文章中,网易云信资深开发工程师将向大家介绍具体的操作方法. 相关阅读推荐在Android上要实现一个录制 ...
如何提取抖音短视频中的音乐
刷短视频的时候,总会有被一些短视频魔性的背景音乐吸引着,当我们准备下载这个背景音乐的时候,却又不知道这个背景音乐叫什么,所以无法下载.没办法,我们要想听这个背景音乐只能将音乐从视频中提取出来了,那么如 ...
抖音计算机音乐怎么设置,抖音短视频中的音乐怎么设置成铃声超级简单
原标题: 抖音短视频中的音乐怎么设置成铃声超级简单抖音短视频中的音乐怎么设置成铃声超级简单抖音短视频设置手机铃声教程如今抖音短视频app平台,用户量非常庞大,我们经常能在刷抖音的时候听到一些 ...
在视频中实现图像特效
by fanxiushu 2020-06-24 转载或引用请注明原始作者. 说起图像特效,可以打开Photoshop软件,里边有个"滤镜"菜单,再到"滤镜"里边 ...
如何提取抖音短视频中的音乐 1
刷短视频的时候,总会有被一些短视频魔性的背景音乐吸引着,当我们准备下载这个背景音乐的时候,却又不知道这个背景音乐叫什么,所以无法下载.没办法,我们要想听这个背景音乐只能将音乐从视频中提取出来了,那么如 ...
自媒体短视频中视频相关的问题总结，涉及视频类型、质量、时长和原创等方面
自媒体短视频中视频相关的问题总结,涉及视频类型.质量.时长和原创等方面大家好,我是我赢助手,专注于自媒体短视频去水印.去重和文案提取运营! 前几天跟大家分享了我最近在做的一个短视频账号,也就是刚刚开 ...
短视频开发SDK 架构设计实践
短视频开发SDK 架构设计实践短视频发展史图 1 图 1 所示是短视频及直播的发展史,众所周知,2016 年是直播元年,在这期间诞生了很多直播平台,比如熊猫.映客.斗鱼等:而在 2017 年,短视 ...

GAN在短视频中的AI特效实践（PPT演示）

导读

01背景介绍

02业务应用

03问题分析

CVPR 2020GAN论文梳理汇总

GAN在短视频中的AI特效实践（PPT演示）相关推荐

最新文章

热门文章