升级版APDrawing,人脸照秒变线条肖像画,细节呈现惊人
作者 | 高卫华
出品 | AI科技大本营
随着深度学习的发展,GAN模型在图像风格转换的应用越来越多,其中不少都实现了很好的效果。
此前,reddit上的一个技术博主AtreveteTeTe基于GAN模型混合将普通的人像照片卡通化,并通过First Order Motion模型生成了动画,引起诸多网友的热捧。像这类卡通风格的画像生成,通常对单元素的质量要求不高,对于模型的训练,会忽略一些细节上的不足。
不过,最近一个开发者在GitHub上放出了一个可用于创建线条艺术肖像的项目,基于深度学习开发了ArtLine,其创建的线条肖像画在细节上的呈现效果惊人。
项目链接:
https://github.com/vijishmadhavan/ArtLine
ArtLine最简单的入门方法:
https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb
艺术肖像线条画方面,去年清华大学曾提出一个层次化的GAN模型APDrawingGAN,可以有效地基于人脸照片生成高质量、富有表现力的线条画。
但APDrawingGAN在识别面部特征方面存在局限性,例如在识别与ID照片类似的正面照片时,需要照片具有清晰的面部特征以及无佩戴眼镜或者面部有明显皱纹。
而ArtLine可以解决这项局限性,同时可以识别任何人物姿态的图像。其生成的肖像画在脸部、眼睛、嘴唇和鼻子周围是否达到适当的线条,完全取决于提供给模型的数据。
APDrawing数据集主要由特写肖像组成,该模型难以对衣服、手等进行重新着色。因此,ArtLine结合使用了从Anime sketch着色对数据集中选择的图像,帮助模型更好地了解线条细节。
这是使用ArtLine即时创建的电影海报。
技术实现
自注意力的GNN
ArtLine采用Self-Attention Generative Adversarial Network(简称SAGAN)生成器,该模型是经过预训练的UNET,具有频谱归一化和自我注意功能,可为图像生成任务提供注意力驱动的远程依赖关系建模。
传统的卷积GAN,根据低分辨率特征图中空间局部点的函数来生成高分辨率的细节。而在SAGAN中,可以使用来自所有要素位置的提示来生成细节。并且,鉴别器可以检查图像部分中的详细特征是否一致。
此外,据最近的研究表明,生成器调节会影响GAN的性能。为此,将频谱归一化应用于GAN生成器,以改善训练动态。
SAGAN实现了最先进的效果,在具有挑战性的ImageNet数据集上,将已发布的Inception分数从36.8提高到52.52,并将Frechet Inception距离从27.62降低到18.65。据注意层的可视化显示,生成器利用了与对象形状相对应的邻域,而不是固定形状的局部区域。
GAN逐步提高质量、稳定性和多样性
ArtLine使用生成对抗网络的新训练方法,关键思想是从低分辨率开始添加新层,逐渐增加生成器和鉴别器,以随着训练的进行对越来越细的细节建模。这既加快了训练速度,又极大地提高了生成图像的质量。
训练中,ArtLine采用一种用于评估图像质量和变化等GAN结果的新指标,并构建了CelebA数据集更高质量的版本。
生成器损失:基于VGG16的感知损失/特征损失。
进行高质量图像的转换时,通常使用输出图像与真实图像之间的每像素损失来训练前馈卷积神经网络。而研究表明,高质量图像也可通过从预训练网络提取高级特征,定义和优化感知损失函数来生成。
结合这两种方法的优势,ArtLine使用感知损失函数来训练用于图像转换任务的前馈网络。与基于优化的方法相比,ArtLine可给出相似质量的图像转换结果,但其生成速度快了三个数量级。对于单图像超分辨率的方法,实验表明将每像素损失替换为感知损失,视觉上会更令人愉悦。
目前,ArtLine在图像生成时也存在一些问题,如其生成器会将照片阴影与头发混淆;另外,对于低于500像素的低质量图像,ArtLine的图像转换效果不佳。
论文链接:
https://arxiv.org/abs/1805.08318
https://arxiv.org/abs/1710.10196
https://arxiv.org/pdf/1603.08155.pdf
更多精彩推荐
中科大“九章”历史性突破,但实现真正的量子霸权还有多远?
虚拟偶像出道,技术「造星」推动下的粉丝经济
GAN模型生成山水画,骗过半数观察者,普林斯顿大学本科生出品
TIOBE 12 月编程语言:Python 有望第四次成为年度语言!
魅族回应 “暗中给手机植入木马”;前谷歌AI伦理专家遭解雇或因论文;GoLand 2020.3发布|极客头条
升级版APDrawing,人脸照秒变线条肖像画,细节呈现惊人相关推荐
- 清华大学提出APDrawingGAN,人脸照片秒变艺术肖像画
作者 | 刘永进教授 来源 | 转载自数据派THU(ID:DatapiTHU) 清华大学提出APDrawingGAN,该项工作被CVPR 2019录取为oral paper.CVPR是计算机视觉和人工 ...
- 清华大学提出APDrawingGAN:人脸照片秒变艺术肖像画,已被CVPR 2019录取
作者:刘永进教授 肖像画作为人物画的一种,其简约的风格以及以形写神.迁想妙得的创作方法获得了大家的喜爱. 虽然看起来只需简单几笔,但通过线条来捕捉一个人的外表特征捕捉到人的个性和情感并不容易. 即使是 ...
- 经典回顾 | 人脸照片秒变艺术肖像画:清华大学提出APDrawingGAN CVPR 2019 oral paper...
该项工作被CVPR 2019录取为oral paper.CVPR是计算机视觉和人工智能领域内的国际顶级会议,2019共收到投稿5160篇,录取1300篇,其中oral paper288篇,仅占全部投稿 ...
- 人脸照片秒变艺术肖像画:清华大学提出APDrawingGAN CVPR 2019 oral paper
该项工作被CVPR 2019录取为oral paper.CVPR是计算机视觉和人工智能领域内的国际顶级会议,2019共收到投稿5160篇,录取1300篇,其中oral paper288篇,仅占全部投稿 ...
- CVPR 2019 | 人脸照片秒变艺术肖像画:清华大学提出APDrawingGAN
该项工作被CVPR 2019录取为oral paper.CVPR是计算机视觉和人工智能领域内的国际顶级会议,2019共收到投稿5160篇,录取1300篇,其中oral paper288篇,仅占全部投稿 ...
- 惊艳了!升级版的 APDrawing,秒让人脸照变线条肖像画
作者 | 高卫华 出品 | AI科技大本营 随着深度学习的发展,GAN模型在图像风格转换的应用越来越多,其中不少都实现了很好的效果. 此前,reddit上的一个技术博主AtreveteTeTe基于GA ...
- Sqlite3写性能优化-每秒百万条写入
最近项目中使用到了Sqlite3来保存结果数据,大约100万条数据,插入到sqlite数据库中竟然耗时5分钟,这在真个数据处理流程中占用了太多的时间,是不可接受的,那么如何优化sqlite的写数据的性 ...
- CVPR 2019 | APDrawingGAN:人脸秒变艺术肖像画
作者丨武广 学校丨合肥工业大学硕士生 研究方向丨图像生成 固定的应用场景对于泛化的图像翻译模型来说存在着一定的局限性,往往需要根据实际的需求对网络和细节进行设计以达到特定的效果.图像转换模型中 本篇的 ...
- python人像绘制_CVPR 2019 | APDrawingGAN:人脸秒变艺术肖像画
作者丨武广 学校丨合肥工业大学硕士生 研究方向丨图像生成 固定的应用场景对于泛化的图像翻译模型来说存在着一定的局限性,往往需要根据实际的需求对网络和细节进行设计以达到特定的效果.图像转换模型中 Cyc ...
最新文章
- WinRT界面控件Essential Studio上如何选择时间范围
- ArchSummit2018深圳站筹备中,18大专题征集演讲嘉宾
- Windows 10 PowerCL 使用 VMwme-PowerCLI安装说明
- jQuery框架风云榜案例
- 全球及中国手持式无线电台行业十四五发展动态及前景趋势调研报告2022-2027年
- CentOS7 安装 Gitlab
- python博客开发教程_Django 博客开发教程 12 - 评论
- 想做测试工程师,这7件事你必须先知道
- C#:获得本机IP地址
- Linux的时间戳换算
- Xshell4、Xftp4注册码
- spring 的bean 作用域
- 2016年9月16日-乔任梁逝世,陈乔恩发文悼念
- 储氢合金/金属氢化物吸放氢动力学模型——Chou模型
- keep-alive 的详细介绍
- 华为手机在计算机里怎么隐藏游戏,原来华为手机隐藏着这么多实用功能!玩一年恐怕也发现不了...
- Matplotlib填图
- The Google File System 中文版论文(下)(转载)
- 同事写的SpringBoot代码不需要Controller、Service、DAO?只因为用了这个工具
- 部署项目vue +阿里云服务器 + 宝塔面板