头发合成：手绘草图妙变逼真秀发

点击上方“机器学习与生成对抗网络”，关注星标

获取有趣、好玩的前沿干货！

新智元报道

来源：新智元 arXiv 编辑：贝壳

【新智元导读】你见过手绘草图秒变逼真秀发吗？香港城市大学提出的新网络SketchHairSalon就可以，不但头发结构外观真假难辨，而且细节也清晰无比，只是通过简单寥寥几笔素描，想拥有什么样的发型都不在话下。

现有的解决方案通常需要用户提供的二进制掩码来指定目标发型。这不仅会增加用户的劳动成本，而且也无法捕捉复杂的头发边界。这些解决方案通常通过方向图编码头发结构，然而，这对编码复杂结构并不是很有效。

其实，彩色头发草图已经含蓄地定义了目标头发形状和头发外观，比方向图更灵活地描述头发结构。基于这些观察，香港城市大学提出了SketchHairSalon，一个两阶段框架，直接从手绘草图生成真实的头发图像，描绘所需的头发结构和外观。

并且还提供了设计界面，如下图所示，包括Hair Structure Specification（头发结构定制）、Hair Shape Refinement（头发形状优化）、Hair Appearance Specification（头发的外观定制）、Sketch Auto-completion（自动完成草图）等功能。

设计思想

为了解决现有算法存在的问题，作者观察到头发草图本身包含了足够的信息来描述局部和整体层面上所需发型的结构、外观和形状。例如，对于一个波浪发型，一笔可以代表一个局部和连贯的头发束，而两笔可以用来形成一个t型结。彩色的笔画能够表明头发图像的局部外观。

此外，描绘发型结构的草图已经含蓄地定义了头发区域的整体形状，最好是沿着毛发区域的边界自动推断局部和柔软的细节，因为这些细节很难由用户指定，而且耗时。在这种情况下，由于支持软边界，毛发哑光比二进制掩模更适合描述毛发区域。

基于以上关键观察，作者提出了SketchHairSalon，一个新颖的深度生成框架，直接从一组彩色笔画合成真实的头发图像。它包括两个关键阶段:素描到亚光生成和素描到图像生成。

第一阶段侧重于从输入的头发草图生成头发哑光，以减少草图到头发生成的模糊性。用户可以选择输入非毛发笔画，这些笔画被用作额外的条件来指导哑光的生成。

第二阶段根据给定输入草图和生成的头发哑光，设法合成一个逼真的头发图像。同时将自我注意模块应用到这两个阶段的网络中，以学习更多的对应关系。

为了训练这两个阶段的网络，作者还提出了一个新的头发草图-图像数据集，其中包含了数以千计的头发图像和相应的手工注释的头发草图，以描述底层的头发结构。每个头发图像也与自动生成的头发哑光相关联。

网络架构

该网络框架由两个主要网络组成:

素描到亚光网络(简称S2M-Net)
素描到图像网络(简称S2I-Net)

素描到亚光网络(S2M-Net)

S2M-Net以素描图

头发合成：手绘草图妙变逼真秀发相关推荐

手绘草图生成逼真的人脸
手绘草图生成逼真的人脸中国科学院和香港城市大学的一组研究人员介绍了一种local-to-global的方法,可以从简单的草图生成逼真的人脸. 虽然随着GANs技术的发展,从图像到图像的转换技术使得草 ...
深度整形外科：使用手绘草图进行鲁棒且可控的图像编辑
摘要基于草图的图像编辑旨在根据人工绘制的草图提供的结构信息来合成和修改照片.由于草图很难收集,因此以前的方法主要使用边缘贴图而不是草图来训练模型(称为基于边缘的模型).但是,草图与边缘贴图显示出很 ...
CVPR2020论文解读：手绘草图卷积网络语义分割
CVPR2020论文解读:手绘草图卷积网络语义分割 Sketch GCN: Semantic Sketch Segmentation with Graph Convolutional Networks ...
金城教授：基于手绘草图的图像检索技术研究
5 月 26 日下午,在第二十八期七牛云架构师实践日,金城教授进行了<基于手绘草图的图像检索技术研究>为题的演讲.本文是对演讲内容的整理. 作者介绍: 金城,复旦大学计算机科学技术学院教授 ...
[深度学习 - 发现有趣项目] 动漫图生成手绘草图 Anime2Sketch
我公司的科室开始在公众号上规划一些对外的技术文章了,包括实战项目.模型优化.端侧部署和一些深度学习任务基础知识,而我负责人体图象相关技术这一系列文章,偶尔也会出一些应用/代码解读等相关的文章. 文章在 ...
征稿通知！ICCV 2021 第一届面向意图表达的手绘草图研讨会
征稿通知!ICCV 2021, THE 1ST Workshop on Sketching For Human Expressivity 概况手绘草图从古至今都是人们交流和表达意图的重要媒介,在计算 ...
首个面向手绘草图的深度自监督表示学习
点击我爱计算机视觉标星,更快获取CVML新技术深度自监督学习(deep self-supervised learning)近来受到了极大关注,很多可用于解决图像和视频的自监督学习方法涌现了出来.不同 ...
GNN手绘草图识别新架构：Multi-Graph Transformer 网络
点击我爱计算机视觉标星,更快获取CVML新技术本文介绍一篇比较小众但非常有意思的手绘草图识别的新文章<Multi-Graph Transformer for Free-Hand Sketch ...
如何用手绘草图+头脑风暴进行移动Web设计
如何用手绘草图+头脑风暴进行移动Web设计编者按:前段时间在微博上流传过一张名为"外国设计师VS国内设计师:精采PK"的趣图,在图中我们可以看到老外设计师在做设计前先签好合同,按 ...

头发合成：手绘草图妙变逼真秀发

【新智元导读】你见过手绘草图秒变逼真秀发吗？香港城市大学提出的新网络SketchHairSalon就可以，不但头发结构外观真假难辨，而且细节也清晰无比，只是通过简单寥寥几笔素描，想拥有什么样的发型都不在话下。

头发合成：手绘草图妙变逼真秀发相关推荐

最新文章

热门文章