萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI

现在，Adobe不想让你用手P图了——动动口就行。

只需要你说一句话，计算机就能P出你想要的效果。

例如，说出想要的发型，马斯克就会立刻被剃头：“Hi-top Fade（扫把头），变！”

肤色、妆容也都能轻松改变，一句“face with/without makeup”就能上妆/卸妆：

△给霉霉上妆/卸妆

甚至还能直接改变人样，给小李子变出胡子、金发后，变成特朗普！

除了人，动物、景物也能P。

输入“cute cat”，就能让图中的猫变成“大眼萌猫”：

说一句“classic car”，它就能把你的车P成经典古老的车型，还能手动调复古程度：

简直是手残P图玩家的福音。

没错，这是来自Adobe、希伯来大学、特拉维夫大学的新操作，只需要一句话，就能让计算机“修”出你想要的图片。

现在，项目已经开源。

当GAN遇上CLIP

这一神奇的操作，来自一种新算法：StyleCLIP。

没错，就是将目前最先进的GAN——StyleGAN，和OpenAI搞出来的CLIP模型结合到一起。

为何选择这两个模型？

其中，CLIP不能自己生成图像，但具有很好的图像分类效果。

它不仅可以理解输入的词语，还能将语义和图像特征联系起来。

也就是说，CLIP有着和人脑极为相似的工作方式，不仅能将CV和NLP从技术上打通，还给他们分配了专门的处理区域。

例如，一旦听到“蜘蛛侠”三个字、或是看到蜘蛛侠的照片，CLIP的某个特殊区域就开始响应，甚至原本用来响应红色和蓝色的区域也会“躁动”。

而StyleGAN，虽然能实现照片级模拟，生成非常逼真的图像：

但StyleGAN、StyleGAN2等一系列GAN模型，却没办法独立更改如面部外观、形状或表情等参数，只能像下面这样，从整体、中等、微调等大方向去改变形象：

如果将CLIP和StyleGAN合成新模型，只需要一句文本信息，它就能帮你P出既逼真、又能控制细节的图像来。

点点鼠标，就能调整效果

事实上，模型的效果也确实不错，功能非常全面。

还自带一个图形界面窗口：用一句话说出需求后，用鼠标就能进行调节。

例如，一键将英国首相鲍里斯·约翰逊（Alexander Boris de Pfeffel Johnson）变成女人：

还能让他愁眉不展、或是开口大笑：

不仅能记住一整个人的面部特征，并根据需要换脸、换头发、换妆；还能应用在动物身上，甚至将老虎变成狮子：

当然，将普通的房子变成哥特式（gothic）建筑也行。

在单个NVIDIA GTX 1080Ti GPU上，进行全局预处理的时间是4个小时。预处理后，就能将不同的文本-图像对应用在上面了。

至于训练的时间，则需要跑10~12个小时，加上优化器后的推理时间是98秒。

那么，模型的稳定性如何？

即使背景人物不同，在用一句话P图后，它们之间的相似度也能达到73%以上，最高能达到84%。

也就是说，模型改变特征的效果还是很稳定的。

当然，即使测试效果很好，网友们还是发现了一些图片生成的bug。

例如，网友发现，长着胡子的男性，看起来要比没有胡子的男性更生气？

有网友在测试后表示，个别效果如“加深男性肤色”（tanned man）确实不够好，需要进行数据清洗。

除此之外，也有网友建议作者尝试进一步研究，如模型中的偏见性。

例如，试试“成功的男人/女人”、“罪犯”等形容词，看看这个模型会生成什么。

作者介绍

一作Or Patashnik，来自特拉维夫大学（Tel-Aviv University），主要研究方向是计算机视觉。

共同一作吴宗泽（Zongze Wu），来自希伯来大学（Hebrew University of Jerusalem），主要研究方向是计算机视觉，包括GAN、图像处理、图像翻译等。

三作Eli Shechtman，来自Adobe，研究方向是计算机视觉，包括视频分析与合成、目标和动作识别、图形视觉、图像和视频检索等。

此外，来自特拉维夫大学的Daniel Cohen-Or、和希伯来大学的Dani Lischinski对这篇论文也有贡献。

说不定，Adobe真会将“动口P图”这一功能放进PS中呢。

项目地址：
https://github.com/orpatashnik/StyleCLIP

论文地址：
https://arxiv.org/abs/2103.17249

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

推荐阅读

专治“炼丹侠”各种不服：1分钟就能搞个AI应用

竞拍AI教父Hinton

有奖问卷 | 智能汽车哪家强

你怎么看智能汽车呢？一个三分钟问卷，让我们看看现在智能汽车有多大的影响力了~ 填完问卷有抽现金红包的机会哦，据说中奖率还蛮高的~( • ̀ω•́ )✧

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~