AI算法图片转二次元卡通

也可以看这篇博客：

https://blog.csdn.net/c406495762/article/details/118197090

一张图片或者视频，就可以生成相应的二次元“老婆”。

效果图：

去年发表的「Talking Head Anime」大家都看过了吧？

最近，这位谷歌工程师对算法进行了升级，「Talking Head Anime 2」效果更好！

只需要一张 PNG 二次元角色图片，就可以生成虚拟偶像，生成带面部表情捕捉的 Vtuber 角色。

作者亲自上场，动漫头像根据作者的口型和头部动作实时「演唱」，作者的完整视频：

算法原理

算法的核心思想是：给定某个动漫人物的一张人脸图像和六轴的姿态信息（Pose），生成同一人物的另一张人脸图像。

通过实时控制六轴的姿态信息（Pose），来达到实时控制动漫人物的效果。

整个过程分类两个步骤：

第一步：改变面部表情，即控制眼睛和嘴的开闭程度。
第二步：人脸旋转。

每一步都使用单独的一个网络，并将第一个网络的输出作为第二个网络的输入。

第一个网络为人脸变形器，第二个网络为人脸旋转器。

为了获得更好的面部动作，作者本次升级将姿态维度增加到了 42 维。

同时在人脸变形器中增加了眉毛、眼睛、嘴巴形变器。

眉毛变形器：可以分割出眉毛，并控制眉毛扭曲的形状。

眼睛和嘴巴变形器的网络也是类似操作。

更具体的原理，详见作者的论文：

https://pkhungurn.github.io/talking-head-anime-2/

算法测试

「Talking Head Anime 2」还没有开源，不过应该马上就有了。

着急，可以先玩一玩「Talking Head Anime」，效果也很不错，同时也算为第二代做环境的准备了。

开源地址1：

https://colab.research.google.com/github/mchong6/GANsNRoses/blob/main/inference_colab.ipynb#scrollTo=aD8le_4fPfv6

项目地址：

https://github.com/pkhungurn/talking-head-anime-demo

第一步：配置开发环境。

依赖不多，使用 Anaconda 配置安装下即可。

这里有详细的环境配置教程：别再折腾开发环境了，一劳永逸的搭建方法

第二步：下载代码和权重文件。

一共四个权重文件，下载好并它们放在工程目录的 data 目录下。

我将代码和权重文件，进行了打包，可以直接下载使用（提取码：jack）：

https://pan.baidu.com/s/1VmLncRBTl4zJMo4nHsUf4w

第三步：运行程序。

python app/manual_poser.py

超级简单，运行效果：

总结

很期待第二个优化版本，效果绝对更好！

真实人脸也是可以这样控制的，只是需要的维度更多，数据更多。

现在各种虚拟主播已经登场了，在直播领域上线了不少相关产品，后续这类技术会做的越来越好。

三次元的人脸模型驱动也将不在话下。

AI算法图片转二次元卡通相关推荐

不同分辨率图片匹配_杜克大学开源 AI 算法，让马赛克图片秒变高清！
公众号关注 "GitHubDaily" 设为 "星标",每天带你逛 GitHub! 大家好,我是小 G.在这个追求高清画质的时代,我们对渣画质的容忍度越来越低. ...
杜克大学开源 AI 算法，让马赛克图片秒变高清！
公众号关注 "GitHubDaily" 设为 "星标",每天带你逛 GitHub! 大家好,我是小 G. 在这个追求高清画质的时代,我们对渣画质的容忍度越来越低 ...
HitPaw Photo Enhancer（图片无损放大软件）官方正式版V1.0.1.7 | 基于ai人工智能图片清晰算法的增强照片清晰度的软件
HitPaw Photo Enhancer 是一款优秀的图片无损放大软件,采用了先进的ai人工智能图片清晰放大技术,只需三步就能帮助用户一键放大图片并修复模糊的图像使之质量更好,也就是大家常说的增强照 ...
java五子棋AI算法人机对战(春物彩羽版可下载试玩PC端）
五子棋AI算法前言: 坐标西安,写于疫情封城期间.改进了之前写的基于极大极小值策略AI五子棋游戏,是用java实现的,采用了java老旧的jframe窗体和绘图类.写好之后整理成了这篇博客. 游戏采 ...
二次元卡通渲染之描边
前言本文为"优梦创客"原创文章,您可以自由转载,但必须加入完整的版权声明更多学习资源请加QQ:1517069595获取(企业级性能优化/热更新/Shader特效/服务器/商业项 ...
2021 有趣AI算法简介
本文面向图像处理方向,结构为列举算法.以及其原理.训练所需要的数据.训练注意点,是对当前热门AI算法的一个介绍,暂不包含手把手教程. 其中开发者如果想定制某个算法,可以通过定制算法.训练需要输入数据, ...
AI算法评测的基本流程和实际案例剖析
前言:大约在3,4年前即2017.2018年,彼时人工智能风起云涌,各类培训进入人工智能行业的广告在地铁上和出口,公交车.电梯等铺天盖地,受其影响,参加过一次在深大的AI介绍公开课,其中讲述的AI内容 ...
盘点2021有趣又高能的AI算法！
卷友们好,我是rumor. 最近我的朋友Jack做了一个特别赞的视频,盘点今年有趣又高能的AI算法,而我就没他那么肝了,一直在鸽着,想了好几个idea都被我否掉了,掉线ing. 点击阅读原文可以直达小 ...
AI算法起家的今日头条为何败给了色情？一文告诉你机器学习何以搞不定鉴黄
12月29日,国家互联网信息办公室在官网发布消息称,针对今日头条.凤凰新闻手机客户端持续传播色情低俗信息.违规提供互联网新闻信息服务等问题,要求北京市互联网信息办公室分别约谈两家企业负责人,责令企业立 ...

AI算法图片转二次元卡通

AI算法图片转二次元卡通相关推荐

最新文章

热门文章