宫崎骏动画里的新垣结衣见过没?简直美呆!
全世界只有3.14 % 的人关注了
爆炸吧知识
本文经机器之心(ID:almosthuman2014)授权转载
参与:肖清、思
尽管最近 2019 年的图灵奖颁给了计算机图形学、颁给了皮克斯 3D 动画,但很多人可能认为二维动漫更有意思一些。像宫崎骏、新海诚这些大师手绘下的动漫,才有了灵魂,张张都能成为壁纸,而整个日漫也以二维为核心。
如果有模型能将真实画面转化为日漫风格的手绘画面,那一定非常炫酷。最近机器之心发现确实有这些模型,从 CartoonGAN 到 AnimeGAN 都能生成非常有意思的图像。
这里有一个 TensorFlow 新项目,它实现了 AnimeGAN,并提供了预训练模型。也就是说,我们下载后可以直接试试生成效果。作为日漫风格的爱好者,我们很快就试用了一下新项目。
项目地址:https://github.com/TachibanaYoshino/AnimeGAN
虽然原项目给出的最佳示例很多都是街景,但我们发现各种场景也都还行,如下是我们试用的原图与生成效果。看看第一张樱花道生成效果,忽然有一种《千与千寻》的感觉。
如果只针对人物,转换效果也是非常不错的。我们尝试将新垣结衣的照片输入 AnimeGAN 模型,然后就有如下这种神奇的画风,感觉直接用到动漫里也没什么问题了。
在原 GitHub 项目中,作者还给了非常多的示例,上面只是机器之心试用的结果,你也可以来用一用。
AnimeGAN
整个项目实现的是论文「AnimeGAN: a novel lightweight GAN for photo animation」中所提方法,作者在论文中分别将 AnimeGAN 与 CartoonGAN、ComixGAN 进行对比。
从图中可以看到,AnimeGAN 在细节方面的表现要优于以上两种方法,色彩相对而言更加自然,涂抹感也没有那么强烈。最明显的是第二行的效果图,使用 AnimeGAN 生成的漫画更加接近宫崎骏的画风。
方法简介
对于这个项目的 AnimeGAN,如下所示为 AnimeGAN 所采用的生成器网络与判别器网络。看起来模型整体是比较常规地一个卷积神经网络,但它会采用实例归一化以及新型的 LReLU 激活函数。
除了架构细节上的更新外,作者还提出了以下三个新的损失函数:
灰度风格(grayscale style)loss
灰度对抗(grayscale adversarial)loss
色彩重构(color reconstruction)loss
这些损失函数能够让生成图片的风格更加接近于真实的漫画风格。
下表比较了 ACartoonGAN 与 AnimeGAN 的模型大小与推理速度。可以明显看出,AnimeGAN 是个相对轻量级的 GAN,具有更少的参数量以及更快的推理速度。
总体来说,新提出来的 AnimeGAN 是一种轻量级的生成对抗模型,它采用了较少的模型参数,以及引入格拉姆矩阵(Gram matrix)来加强照片的风格。研究者的方法需要采用一系列真实图片与一系列动漫图片做训练,且这些图片并不需要成对匹配,这就表明训练数据非常容易获得。
项目实测
我们在 Ubuntu 18.04 下对本项目进行了测试,相关依赖环境如下:
python 3.6.8
tensorflow-gpu 1.8
opencv
tqdm
numpy
glob
argparse
这些依赖项可以说都是 CV 中常用的扩展库,我们就不用费尽心思去解决各种依赖环境冲突的问题了,这里给个好评。
以下是本项目的训练及测试详细流程。我们首先将 AnimeGAN 项目克隆到本地,在 Jupyter notebook 中输入:
!git clone https://github.com/TachibanaYoshino/AnimeGAN
将工作目录切换到 AnimeGAN:
import os
os.chdir( AnimeGAN )
print(os.getcwd())
接下来下载项目作者提供的预训练模型,使用 vim download_staffs.sh 创建一个 Shell 文件,输入如下命令:
URL=https://github.com/TachibanaYoshino/AnimeGAN/releases/download/Haoyao-style_V1.0/Haoyao-style.zip
ZIP_FILE=./checkpoint/Haoyao-style.zip
TARGET_DIR=./checkpoint/saved_modelmkdir -p ./checkpoint
wget -N $URL -O $ZIP_FILE
mkdir -p $TARGET_DIR
unzip $ZIP_FILE -d $TARGET_DIR
rm $ZIP_FILEDatesetURL=https://github.com/TachibanaYoshino/AnimeGAN/releases/download/dataset-1/dataset.zip
ZIP_FILE=./dataset.zip
TARGET_DIR=./datasetrm -rf dataset
wget -N $DatesetURL -O $ZIP_FILE
unzip $ZIP_FILE -d $TARGET_DIR
rm $ZIP_FILEVGG_FILE=./vgg19_weight/vgg19.npy
wget --load-cookies /tmp/cookies.txt "https://docs.google.com/uc?export=download&confirm=$(wget --quiet --save-cookies /tmp/cookies.txt --keep-session-cookies --no-check-certificate https://docs.google.com/uc?export=download&id=1U5HCRpZWAbDVLipNoF8t0ZHpwCRX7kdF -O- | sed -rn s/.*confirm=([0-9A-Za-z_]+).*/
/p )&id=1U5HCRpZWAbDVLipNoF8t0ZHpwCRX7kdF" -O $VGG_FILE && rm -rf /tmp/cookies.txt
保存后退出,以上命令会将预训练的模型、vgg19 权重以及训练数据集下载并保存到其对应目录下。在 notebook 中运行:
!bash download_staffs.sh
至此即完成所有准备工作,运行如下代码就可以对模型进行训练了:
!python main.py --phase train --dataset Hayao --epoch 101 --init_epoch 1
AnimeGAN 的训练过程如下图所示:
当进行测试时,我们需要将用于测试的图片保存到 dataset/test/real 目录下,并运行如下代码:
!python test.py --checkpoint_dir checkpoint/saved_model --test_dir dataset/test/real --style_name H
当看到以上输出说明程序已经成功运行完成,生成结果保存在 results 文件夹下。可以看到,在 P100 GPU 上生成一幅图片需要大约 2.3 秒左右。
本文转自机器之心,禁止二次转载。
✄------------------------------------------------
宫崎骏动画里的新垣结衣见过没?简直美呆!相关推荐
- 宫崎骏动画里的新垣结衣见过没?这个开源动漫生成器让你的照片秒变手绘日漫
随手拍张照片,顺势转换为宫崎骏.新海诚等日漫大师的手绘风格作品,这个专门生成动漫图像的 GAN,实测很好用. 根据真实店铺照片生成的效果图,一度以为,这就是某个日漫番剧的截图 尽管最近 2019 年的 ...
- python樱花手绘_宫崎骏动画里的新垣结衣见过没?这个开源动漫生成器让你的照片秒变手绘日漫...
机器之心报道 参与:肖清.思 随手拍张照片,顺势转换为宫崎骏.新海诚等日漫大师的手绘风格作品,这个专门生成动漫图像的 GAN,实测很好用. 机器之心根据真实店铺照片生成的效果图,一度以为,这就是某个日 ...
- 宫崎骏动画里的新垣结衣见过没?这个开源动漫生成器让你的照片秒变手绘日漫...
本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载 参与:肖清.思 随手拍张照片,顺势转换为宫崎骏.新海诚等日漫大师的手绘风格作品,这个专门生成动漫图像的 GAN,实测 ...
- 宫崎骏动画里的新垣结衣见过没?用Python做个开源动漫生成器让你的照片秒变手绘日漫~
导语 随手拍张照片,顺势转换为宫崎骏.新海诚等日漫大师的手绘风格作品,这个专门生成动漫图像的 GAN,实测很好用. 如果有模型能将真实画面转化为日漫风格的手绘画面,那一定非常炫酷.最近机器之心发现确实 ...
- 宫崎骏动画里的15对情侣,你最喜欢哪一对?
宫崎骏动画里的15对情侣,你最喜欢哪一对? <心之谷>月岛雫 天泽圣司 <地海战记>亚刃 瑟鲁 <风之谷>娜乌西卡 阿斯贝鲁 <霍尔的移动城堡>苏菲 霍 ...
- 手绘日漫版的新垣结衣见过没?这个开源动漫生成器让你的照片秒变
(给机器学习算法与Python学习加星标,提升AI技能) 本文授权转自"机器之心"(almosthuman2014) 随手拍张照片,顺势转换为宫崎骏.新海诚等日漫大师的手绘风格作品 ...
- 宫崎骏动画风格 美日动漫差异
一,宫崎骏动画的风格和特色 (1)题材广泛.不拘形式 这一点从宫崎骏的各部动画中很容易看出,他没有题材相似的两部动画,只是表达的主题相似而已. (2)作品并不单纯停留在对于故事本身的构建上,而是严肃地 ...
- 更新完显卡驱动,任务管理器里N卡的CUDA没了
更新完显卡驱动,任务管理器里N卡的CUDA没了 如题,最近我遇到了这样一个问题,Win10 21H1,显卡是1050 Ti,驱动版本是471.68 最开始以为是新版驱动的问题,于是尝试降了级-结果CU ...
- carsim/trucksim动画里设置多个车辆(ghost)
你是否见过下面的图,也想设置类似的图.但不得其门.下面由我来告诉你怎么设置. *1.在carsim8.0 8.1等老版本中,打开动画,是可以在动画里设置的,如下图所示. * 2.在16 19等新版本中 ...
最新文章
- RabbitMQ安装方法 安装完成已验证方法步骤可行性
- ZF1.* 愤怒小鸟系列二:快速自定义创建MVC
- (回溯Uva524)素数环
- 什么是Redis?简述它的优缺点?
- 实现数组和List之间的相互转换
- MVC3 Razor语法速查
- 盘点云计算的概念,分类和特点
- Retinex算法详解
- 扒一扒贝索斯的接班人,为何选他挑起大梁?
- 学习单片机的三个步骤
- ApacheCN 活动汇总 2019.6.28
- OOALV进阶版:实现一个屏幕下展示多个ALV,跳转网页
- Win10[应用商店]损坏,修复方法之一
- 服务器显示器白屏,电脑显示器白屏的原因以及处理方法
- Google Dremel 原理 - 如何能 3 秒分析 1PB
- Ubuntu 电脑下插入移动硬盘,显示不能挂载该硬盘
- 小程序瀑布流_小程序界面设计 | 太古可口可乐会员平台
- 【Python+OpenCV 图像的缩放和裁剪】
- vue2引用typeScript的步骤
- echange 2013登录ecp失败
热门文章
- 用HttpReports快速搭建API分析平台
- 细节之中自有天地,整洁成就卓越代码
- 「Azure」数据分析师有理由爱Azure之二-立即申请帐号开始学习之旅
- 微软宣布SQL Server 2019免费支持Java
- 用.NET Core实现一个类似于饿了吗的简易拆红包功能
- dotnet pack 打包文件版本号引起 Could not load file or assembly 问题
- dotnet core 开发无缝兼容Http和Websocket协议的接口服务
- C#系列之聊聊.Net Core的InMemoryCache
- 微软为.NET程序员带来了最优的跨平台开发体验-WSL
- 设计事件驱动的微服务