AI 教你画油画：任意画风都可驾驭

2024-05-15 00:03:22

本文转载自IT之家

AI 已经能教你画油画了。

随便给一张图，笔画序列秒秒钟呈现。

比如世界名画蒙娜丽莎。

亦或是写实类的小鸟。

还有极具氛围感的河灯。

总之什么风格都可以驾驭。

这项技术在 Reddit 上 21 小时内就已经有 600 + 的点赞量。

究竟是如何打造的呢？

用前馈网络预测笔画

神经绘画，就是为给定的图像生成一系列笔画，并使用神经网络进行绘画式的真实再现过程。

研究团队提出了一个基于 Transformer 的框架，叫做 Paint Transformer，用前馈网络来预测笔画的参数。

由于当前没有可用的数据集来训练 Paint Transformer，受物体检测启发，研究人员设计了一个自训练 Pipeline。

整个模型由两个模块组成：笔画预测器和笔画渲染器。

给定目标图像和中间画布图像，笔画预测器，生成一组参数以确定当前笔画集。

预测器包含了两个用于特征嵌入的 CNN 网路和一个用于参数预测的 Transformer。

随后，笔画渲染器为笔画集汇总的每个笔画，生成笔画图像，并将它们绘制到画，产生结果图像，大小为 512*512。

在 DETR（用 Transformer 进行对象检测）的基础上，增加了二进制神经元来预测笔画是否应该被保留。

这样它就可以在没有任何现成的数据集的情况下进行训练，同时还能实现出色的泛化能力。

实验表明，这一方法比以前的方法取得了更好的绘画性能，而且训练和推理成本更低。

百度南大团队打造

这项技术由百度、南京大学、罗格斯大学共同打造。

目前代码已经开源，并在一刻相册 App 上应用。

论文地址：

https://arxiv.org/abs/2108.03798

GitHub 网址：

https://github.com/wzmsltw/PaintTransformer

AI 教你画油画：任意画风都可驾驭相关推荐

AI教你画油画：任意画风都可驾驭，笔画序列秒秒钟呈现，百度南大团队打造 | Reddit高赞...
杨净发自凹非寺量子位报道 | 公众号 QbitAI AI已经能教你画油画了. 随便给一张图,笔画序列秒秒钟呈现. 比如世界名画蒙娜丽莎. 亦或是写实类的小鸟. 还有极具氛围感的河灯. 总之什么 ...
AI绘画，画你心中所想！【飞链云版图】，圆你心中所梦！
AI绘画,画你心中所想![飞链云版图],圆你心中所梦! 不会画画的我有太多时候想去画出一幅画来,不为别的,就是因为我想把我华丽炫彩的梦中情景给展现出来,机甲!外星人!古代侠客!未来城市!精灵家园... ...
百度和 AI教父Hinton 的故事
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达徐宁发自凹非寺量子位报道 | 公众号 QbitAI 时间接 ...
AI教父争夺秘史：百度2.88亿天价求才，因中国身份惜败谷歌
2021-03-29 09:41:33 徐宁发自凹非寺量子位报道 | 公众号 QbitAI 时间接近零点,Geoffery Hinton不得不暂时叫停了拍卖. 此时此刻,竞拍的出价已经被抬高到 ...
竞拍AI教父Hinton
徐宁发自凹非寺量子位报道 | 公众号 QbitAI 时间接近零点,Geoffery Hinton不得不暂时叫停了拍卖. 此时此刻,竞拍的出价已经被抬高到了4400万美元:而且显而易见,剩下的 ...
怎么画正五边形步骤_每个药店必备三伏贴的POP海报，我教你画
今天我们来分享一张三伏贴的POP海报先准备好工具 20mm油性马克笔 6mm油性马克笔涂改液铜版纸第一步:我们先用20mm油性马克笔吧"三伏贴"写出来,写在最中间哦,书写的 ...
tableau实战系列（三十五）-教你画个不一样的圆角条形图
前言条形图数据分析的经常用到的图形展示方式之一,今天教大家画个有点不太一样的条形图-圆角条形图,一起来学习吧! 具体步骤如下: 1 连接数据源打开 Tableau Desktop,连接示例-超市 ...
python画海绵宝宝_一步一步教你画章鱼哥怎么画好看？教你学画海绵宝宝的章鱼哥简笔画！...
<海绵宝宝>的故事情节主要围绕着主角海绵宝宝和他的好朋友派大星.邻居章鱼哥.上司蟹老板等人展开,场景设定于太平洋海底,一座被称为比奇堡的城市.那么海绵宝宝的章鱼哥的简笔画要怎么画呢?小编今 ...
走线画直线_画画教程，只用1支铅笔，教你画一幅毛绒小熊
文末有完整视频演示! 〉〉〉[说明]:教程非常清晰,只要按照我们的步骤来画,画不出来的话邮给我们,我们吃了! 画画需要耐心,切忌急躁. 〉〉〉[工具]:4B铅笔.橡皮.素描纸或普通纸〉〉〉[原创教 ...

最新文章

热门文章