240万!动漫人脸数据集AnimeCeleb
点击上方“机器学习与生成对抗网络”,关注星标
获取有趣、好玩的前沿干货!
文章 新智元 编辑 小咸鱼
【新智元导读】韩国科学技术院最近的一项研究提出了一个大规模的动漫人脸数据集AnimeCeleb,以促进动漫人脸领域的研究。AnimeCeleb内含240万张图片,全部依赖于3D模型渲染,堪称动漫人脸数据集的ImageNet。
想看看全球首富马斯克变成二次元的样子吗?
当当当当!
图片来源:https://huggingface.co/spaces/akhaliq/AnimeGANv2
怎么还有一丝妩媚呢?
近日,在huggingface社区上,最强动漫风格迁移模型AnimeGAN的迭代版AnimeGANv2上线了一个体验demo出来。
多年来,动漫角色与人类同行,扮演着挚爱的朋友,在日常生活中给很多人以情感安慰。
随着他们的流行,动漫角色已经不局限于娱乐行业或营销领域,计算机视觉和图形学的最新进展进一步加速了角色的广泛传播,为个人创作者轻松设计自己的角色并在公共在线平台上展示他们的作品铺平了道路。
其中,动漫角色设计和深度学习相结合的作品也越来越多。
不过,虽然基于深度学习的人脸生成GAN取得了显著的成功,但这些模型仍然局限于真实人脸的领域。
而由于缺乏动漫风的人脸数据集,动漫人脸生成领域的工作目前还不够深入。
大规模的动漫人脸数据集
韩国科学技术院最近的一项研究提出了一个大规模的动漫人脸数据集AnimeCeleb,以促进动漫人脸领域的研究。
https://arxiv.org/pdf/2111.07640.pdf
为了简化动漫人脸数据集的生成过程,他们通过可控的合成动漫模型,基于一个开放的三维软件和一个注释系统构建了一个半自动管道,可以构建大规模动漫人脸数据集,包括具有丰富注释的多姿态和多风格动漫人脸。
AnimeCeleb的随机抽样例子
并且实验表明,该数据集适用于各种与动漫相关的任务,例如头部重现和着色。
与公开的现有动漫人脸数据集相比,AnimeCeleb内含240万张图片,全部依赖于3D模型渲染来构建动漫人脸数据集。
这确保了大规模数据集包含详细的注释以及具有相同身份的多姿态图像。此外,考虑到不同的绘画方式,动漫还包含多种风格。
这简直就是动漫人脸数据集的ImageNet呀!
如何制作?
那这样庞大的动漫人脸数据集是如何制作出来的呢?
第一步,数据收集(A.1)。在过滤掉不合适的外观动漫模型后,总共获得了3613个可用的三维动漫模型。
数据集生成管道概述
第二步,3D动漫模型描述(A.2)。收集的3D动漫模型不仅包含动漫角色的完整身体信息,如3D网格、骨骼和纹理组件,还包含可以改变3D模型外观的变形量。
为每个变形量指定一个标量值,我们可以改变3D模型的相关属性(例如,张开/闭上嘴,张开/闭上眼睛)。
目标变形的可视化示例(前四列)和三维头部旋转(最后一列)
第三步,图像渲染(B)。为了从3D动漫模型中自动采样动漫人脸图像的过程,他们新开发了一个2D人脸图像生成系统,该系统建立在支持3D模型可视化、操作和渲染的开源3D计算机图形软件Blender上。
第四步,语义标注(C)。语义标注步骤的目标是识别面部表情相关的形态,并根据语义准确和统一的命名约定对形态进行标注。重要的是,这使我们能够在对面部表情相关的变形进行采样时,对所有3D动漫模型应用一致的姿势采样策略。
最后一步,数据采样(D)。对于采样,随机采样人脸的每个部分(即眼睛、眉毛和嘴)的目标变形被应用于三维动漫模型。通过从均匀分布[0,1]中独立采样来确定形变的幅度。
采样数据示例
实验结果
在任务选择过程中,研究人员重点展示了对动漫相关任务的适用性和动漫跨身份头像重现结果。
头像重现任务旨在将动漫风格从风格驱动图像转移到源图像,同时保留源身份。由于AnimeCeleb属性包含多个相同身份的图像,他们实现了两个代表性的基线:FOMM和PIRenderer。
头像重现的定量结果。显然,在AnimeCeleb上训练优于在VoxCeleb上训练。
结果显而易见,在AnimeCeleb测试集上测试时,在AnimeCeleb上训练的模型优于在VoxCeleb上训练的基线模型。
域外(Out-of-Domain)动漫头像重现结果也非常棒。
给定来自Waifu数据集的源图像(第1列)和来自AnimeCeleb的驱动图像(第2列),仅使用AnimeCeleb训练的FOMM和PIRenderer都成功地将驱动图像的风格转移到源图像。
研究人员还用AnimeCeleb训练模型去发现样本中语义一致的部分,比如:整体面部、头部和颌骨等等。
动漫人脸语义分割结果,训练好的模型能够识别不同图像中的一致语义。
在动漫领域,自动着色是动漫创作者在劳动密集型绘画过程中减少工作量的重要任务。使用经过训练的彩色化模型,创作者能够获得给定草图图像的彩色化图像。
使用用AnimeCeleb训练的基线,可以绘制出良好的动漫角色草图图像,自动生成彩色化输出。
通过参考域内和域外图像,用AnimeCeleb训练的Pix2Pix成功输出彩色图像。
在未来的工作中,AnimeCeleb还会进一步被扩展,以在多视图环境中提供更多样的面部表情。
参考资料:
https://arxiv.org/pdf/2111.07640.pdf https://twitter.com/ak92501/status/1460436967905280002
猜您喜欢:
等你着陆!【GAN生成对抗网络】知识星球!
CVPR 2021专题1:GAN的改进
CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总
CVPR 2021 | 图像转换 今如何?几篇GAN论文
【CVPR 2021】通过GAN提升人脸识别的遗留难题
CVPR 2021生成对抗网络GAN部分论文汇总
经典GAN不得不读:StyleGAN
最新最全20篇!基于 StyleGAN 改进或应用相关论文
超100篇!CVPR 2020最全GAN论文梳理汇总!
附下载 | 《Python进阶》中文版
附下载 | 经典《Think Python》中文版
附下载 | 《Pytorch模型训练实用教程》
附下载 | 最新2020李沐《动手学深度学习》
附下载 | 《可解释的机器学习》中文版
附下载 |《TensorFlow 2.0 深度学习算法实战》
附下载 | 超100篇!CVPR 2020最全GAN论文梳理汇总!
附下载 |《计算机视觉中的数学方法》分享
240万!动漫人脸数据集AnimeCeleb相关推荐
- 动漫人脸识别技术及数据集介绍
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文转自:计算机视觉life 看过的动漫太多,以至于认角色时有点脸 ...
- PyTorch实现SRGAN——动漫人脸超分辨率
文章目录 1. 数据集介绍 2. SRGAN模型的构建 3. 数据读取 4. 损失函数构建 5. 模型训练 6. 测试模型 全部代码: GitHub 1. 数据集介绍 使用的是一个动漫人脸数据集,完整 ...
- GitHub动漫人脸检测项目lbpcascade animeface
GitHub动漫人脸检测项目lbpcascade animeface GitHub开源项目 动漫人脸检测 环境需求 使用说明 GitHub开源项目 https://github.com/nagadom ...
- 【深度学习】卡通动漫人脸检测
此文主要记录一些论文和博客的观点 难点 相比于人脸较为固定的高宽比,动漫人脸则夸张地多,卡通人脸中大约有10%的比例大于2.0或小于0.5: 没有较为统一的特征,人类形象.动植物形象.机甲甚至怪物形象 ...
- 【python】动漫人脸检测算法汇总(lbp+mlp+hog+ssd)
不同算法检测结果对比图 文章目录 1. 写在前面 2. 测试样例 3. 测试设备 4. 人脸检测 4.1. 基于LBP的动漫人脸检测 4.1.1. 仓库地址 4.1.2. 环境配置 4.1.3. 示例 ...
- YOLO3 动漫人脸识别
向AI转型的程序员都关注了这个号
- 动漫界的ImageNet来了!人脸数据集AnimeCeleb,240万张图片生成「萌萌哒」动漫脸...
转自:新智元 想看看全球首富马斯克变成二次元的样子吗? 当当当当! 图片来源:https://huggingface.co/spaces/akhaliq/AnimeGANv2 怎么还有一丝妩媚呢? 近 ...
- 【seeprettyface.com】数据集:黄种人/动漫人物/自拍照/网红脸人脸数据集
完整数据集下载地址:http://www.seeprettyface.com/mydataset_page2.html -------------------------------- 这一批数据 ...
- Pytorch 使用DCGAN生成动漫人物头像 入门级实战教程
有关DCGAN实战的小例子之前已经更新过一篇,感兴趣的朋友可以点击查看 Pytorch 使用DCGAN生成MNIST手写数字 入门级教程 有关DCGAN的相关原理:DCGAN论文解读-----DCGA ...
- 真人视频秒变高清动漫脸,数十种“滤镜”可选,在线可玩
来源:量子位 自拍的视频也能转换成高清动漫脸,这个AI能够在线玩了! 多达数十种肖像风格,并且支持高分辨率,生成的视频是酱婶的- 比如想生成"迪士尼"卡通风格: 又或者想生成游戏里 ...
最新文章
- 深度学习 tensorflow tf.layers.conv2d_transpose 反卷积 上采样
- 一文讲透非标品的商品类目设计
- django的admin中显示为xxxx object以及元类Meta和__str__的使用
- python反射、闭包、装饰器_python 闭包装饰器(一)
- Graft货币(GRFT)结点搭建
- 排序算法(5)----堆排序
- 从事前端多年,我是这样看待三大框架的
- linux系统命令行方式复制文件
- yolov5训练自己的数据集(一文搞定训练)
- ‘sort’命令的14个有用的范例
- primefaces教程_Primefaces BlockUI组件示例教程
- 文本生成解码策略笔记-常见解码策略
- Go多线程并发避免堵塞
- (十)洞悉linux下的Netfilteriptables:网络地址转换原理之SNAT
- DP题目推荐合集(洛谷/UVa)
- 中国地图3D立体效果
- Excel教程(8) - 财务函数
- java 导入pem文件_将PEM导入Java密钥库
- 戾气遍地的社会,我们该如何远离垃圾人?(深度)
- Intel® oneAPI Base Toolkit+Intel® oneAPI HPC Toolkit安装教程+环境变量设置
热门文章
- 关于body.clientHeight,body.clientWidht获取的不是可视高度的问题
- vuxui 安装使用,解决npm项目文件严重问题提示
- Python小白的数学建模课-B4. 新冠疫情 SIR模型
- 《HTTP权威指南》读书笔记
- CAN分析仪的特点与功能
- 行为型模式——模板方法模式
- shp文件中polyline是什么_SHP文件坐标转换工具1.0版
- 一键自动生成字幕、提取视频字幕方案的详细评测与价格对比(含免费方案)
- oracle扩字段长度有什么影响,修改字段长度应用会影响到生产性能
- 飞桨PaddleHub带你环游世界,快来试试Python一键视频抠图吧