《赛博朋克2077》是捏脸游戏?上科大学生社团开发了一款赛博“滤镜”
作者 | eEhyQx
出品 | AI科技大本营
现象级大作《赛博朋克2077》终于没有跳票顺利发布了!你通关了吗?
来自上海科技大学的学生社团GeekPie打造了一款全新的“滤镜”,CyberMe。只需上传一张照片,一秒将你带入夜之城!
上传一段简短的视频,你还可以让它动起来……
据悉,这项工作使用了与几个月前火遍国外的Toonify使用了相同的技术栈。
迁移学习
迁移学习是指将一个预训练模型重新应用在另一个任务中,往往能有减少新模型训练时间的作用。
团队首先利用赛博朋克2077的捏脸模块随机生成了500个角色,作为StyleGAN2的输入在FFHQ预训练模型的基础上展开迁移学习。
由于使用了迁移学习技术,只需要在一般人就能拥有的RTX 2080上训练4个小时,StyleGAN模型能够输出较为赛博朋克风格的图像。
模型融合
由于StyleGAN的结构,不同层的网络能够在不同程度上影响最终的输出结果。大体可以总结为,低分辨率的层将显著影响最终输出的结构,高分辨率层则决定了材质以及光影细节。
团队将迁移学习得来的模型与FFHQ原模型融合,FFHQ预训练模型与迁移学习得来的模型分别提供网络的低分辨率层与高分辨率层。融合网络能够弥补由于数据量小、训练时间短而造成的模型质量不佳问题,以达到更加真实的效果。
此时,通过使用StyleGAN Encoder寻找某个人在StyleGAN FFHQ模型中latent code的方式,融合后的模型已经能够根据一张人像输出对应的赛博朋克风人像。但由于整个Encoder过程本质上是一步使用VGG的优化,1000次迭代的优化往往需要数分钟时间,十分缓慢,无法同时处理大量请求,这也是Toonify项目最初下线的原因。
Pix2PixHD
Pix2PixHD网络与StyleGAN同样是由英伟达提出的,面向处理由一张图像转变为另一张图像的任务。Pix2PixHD具有不错的实时性,但在生成质量上不及StyleGAN。
为了解决生成速度这一问题,团队利用现在的StyleGAN预训练的FFHQ模型与迁移学习融合后的模型生成了50000张“真人-赛博朋克”风图片对,并以此作为训练数据,训练了一个Pix2PixHD网络。
在经过长达12小时左右的训练后,整个Pix2PixHD能够逼近StyleGAN的效果,并且在1秒内完成生成运算。
其他问题
因为游戏捏脸环节光照与环境与真实环境略有差异,Pix2PixHD生成结果与原始输入人脸的肤色与光照等略有出入。为了解决这个问题,团队使用直方图均衡等传统数字图像处理手段将不同通道强度与原图相匹配,使得输出图像与原始图像在颜色与亮度分布上与原始输入人脸相近,以达到贴近真实人脸的效果。
由于用于训练的数据由《赛博朋克2077》游戏的捏脸系统随机生成,故质量有限。开发者也在网站开放了“帮助我们变得更好”的按钮,邀请使用者提交自己在游戏中完成的捏脸作品。
目前,这项工作已经上线至https://cyberme.geekpie.club,同时支持油画、浮世绘、卡通立绘、兵马俑等多种风格,并将持续更新。
技术交流请邮件:pie@geekpie.club
参考链接:
https://cyberme.geekpie.club
https://arxiv.org/pdf/2010.05334.pdf
更多精彩推荐
赠书 | 实现病人数据自动分析建模,Python能做的比你想象得更多
为什么苹果M1芯片这么快?
实战|手把手教你用Python爬取存储数据,还能自动在Excel中可视化
C语言能够被替换吗?
《赛博朋克2077》是捏脸游戏?上科大学生社团开发了一款赛博“滤镜”相关推荐
- unity捏脸游戏捏脸系统实现原理和代码
unity捏脸游戏捏脸系统制作教程 unity3d捏脸系统实现原理和代码 捏脸实现原理 unity捏脸系统要用到3D建模软件,我用的是blender 不会用blender的朋友,请看这个链接: htt ...
- 【技术美术】最强捏脸游戏大比拼
学习自:http://news.17173.com/content/2016-01-09/20160109010719144_all.shtml 对 MMORPG 来说,最重要的无疑是"代入 ...
- 与病毒名称相似,“捏脸”游戏 ZEPETO 涉嫌窃听?
前不久,小编的朋友圈被一群"小屁孩儿"的合影给刷屏了,它们不是真的小朋友,而是小编身边同事们的虚拟卡通形象,也称作"小我": 这么好玩的东西,小编当然要亲自试一 ...
- 与病毒名称相似,“捏脸”游戏 ZEPETO 涉嫌窃听?...
前不久,小编的朋友圈被一群"小屁孩儿"的合影给刷屏了,它们不是真的小朋友,而是小编身边同事们的虚拟卡通形象,也称作"小我": 这么好玩的东西,小编当然要亲自试一 ...
- python能做什么游戏-你也可以用Python开发出一款火遍全球的游戏!
还记得这款火遍全球的像素小鸟游戏吗? 没有精细的动画,极简的游戏机制.却成为苹果商店下载量最多的免费 app,并为游戏制作人带来了数百万美元的收益. 当姜文说"站着把钱挣了"的时候 ...
- 玩了10小时赛博朋克2077,我觉得很失望
12月10号,千呼万唤始出来的<赛博朋克2077>正式上线,仅用一天时间就实现了回本和盈利,在社交媒体上的热度居高不下. 为什么<赛博朋克2077>能够成为互联网社会的现象级作 ...
- 【技术美术】盘点十大可捏脸的单机游戏
学习自:http://www.gamersky.com/wenku/201409/467622.shtml 没错,这是一个看脸的时代,君不见年初歌手李代沫因吸毒被抓,网友对他可是一片声讨,而就在上个月 ...
- 如何打造细致的2D捏脸系统
大家好,我是汉家松鼠的CG,<江湖X>.<汉家江湖>的制作人和主程,今天给大家介绍一下我们游戏中的捏脸系统是如何设计和开发的. 背景介绍 游戏<汉家江湖>是我们一款 ...
- 【技术美术】千人千面如何炼成 技术讲解捏脸系统设计原理
学习自 http://games.sina.com.cn/o/z/wuxia/2015-10-15/fxivsch3599438-p5.shtml 1. 技术讲解捏脸系统设计原理 天刀脸模型的风格定位 ...
最新文章
- 开启你的开源项目生涯_了解如何在5分钟内以开源方式开始您的职业生涯
- python编译环境对cpu要求高不高_解决Tensorflow 使用时cpu编译不支持警告的问题
- Java基础回顾Application(二)
- 斯坦福大学的 CS231n课程
- ccf认证的期刊和会议_ccf推荐AI、CV方向的国际学术期刊、会议
- java添加缓存_实现 Java 本地缓存的方法解析
- Excel公式与函数实战应用-陈明霞-专题视频课程
- guice android,android – 如何使用Guice的@Singleton?
- 冰点还原精灵如何修改密码
- Android中什么是Dex文件
- pspice学习笔记(4)--各类符号详解
- 最小二乘法为什么使用误差平方和
- OpenBSD 7.2版发布 新增苹果M2芯片和高通骁龙8cx芯片组的支持
- 计算机是人类的好伴侣 作文,有电脑真好作文
- Would you like to share anonymous usage data about this project with the Angular Team at Google unde
- HyperLynx(十四)高级分析技术
- 青岛小学 初中有计算机编程比赛,青岛市电脑制作活动 程序设计竞赛 一等奖...
- MNL(使用自己的数据集)
- 抖音小黄车挂淘宝店相关问题记录
- (15.1.5.2)当抗日神剧遇上轻小说(我已笑抽)