SDEdit一点成画，小白也能是绘画大师！

阅读说明：本文约2000字，建议阅读10分钟，也可观看文末视频。

现在可以不再使用复杂的GAN和transformer架构进行图像生成了。斯坦福大学和卡内基梅隆大学的Chenling Meng等人提出的新方法，可以从用户任何输入的图形生成新图像。即使是像我这样的艺术技能小白，现在也可以利用速写草图生成美丽的画稿或修改稿。

一开始听起来可能很神奇，但通过向输入中添加噪声，就可以像人工编辑一般消除不需要的伪像，同时保留图像的整体结构。现在图像看起来像这样，完全是噪点，但我们仍然可以看到图像的一些形状和笔触，以及特定的颜色。然后，将此新的噪声输入发送到模型，以反转此过程，并根据此总体结构生成新版本的图像。这意味着它将遵循图像的整体形状和颜色，但不会精确到可以创建新功能，例如用真实的胡须替换此草图。

同样，您可以发送这种图像的完整草稿，向其中添加噪点，然后通过模拟反向步骤来消除噪点。这样，它将根据任何输入的特定数据集样式，逐步提高生成图像的质量！这就是为什么您不再需要任何绘画技巧！由于它从噪声中生成图像，因此在应用噪声之前，并不知道也不需要知道初始输入。与条件 GAN 或其它生成网络相比，这是一个巨大的差异和巨大的优势。您可以利用两个不同但相关的图像，训练模型从一种样式转换到另一种样式。

这个称为SDEdits的模型使用随机微分方程，这就意味着，通过注入高斯噪声，将任何复杂的数据分布转换为已知的先验分布。在训练过程中，可以看到这种已知分布，这就是模型训练重建图像的依据。因此，该模型学习如何将高斯噪声转换为噪声较小的图像，并重复它，直到得到符合所需样式的图像。此方法适用于任何类型的输入，因为如果向其添加足够多的噪声，图像将变得非常嘈杂，从而加入已知分布。

然后，模型可以接受已知输入并执行相反的步骤，根据训练内容对图像进行去噪。事实上，就像GAN一样，我们需要一个目标数据集，这就是我们想要生成的数据或图像。例如，要生成逼真的人脸，我们需要一个充满真实人脸的数据集。然后，我们向这些人脸图像添加噪声，并教模型迭代地去噪。这就是这个模型的美妙之处，因为一旦它学会了如何对图像去噪，我们几乎可以在添加噪声之前对图像做任何事情，比如添加笔划，因为它们混合在添加噪声的预期图像分布中。通常，这些笔划编辑的图像对于GAN架构来说是一项具有挑战性的任务，因为这些笔划与图像以及模型在训练期间所看到的极为不同。GAN体系结构需要两个数据集来解决此问题，目标数据集（我们尝试模拟的数据集）和源数据集（我们尝试编辑的带有笔划的图像）。

它们被称为成对数据集，因为我们需要两个数据集中的每个图像成对出现，以便对模型进行训练。我们还需要定义一个合适的损失函数来训练它，这使得图像合成过程非常耗时并且代价太高。

在我们的例子中，对于SDEDIT，我们不需要任何成对的数据，因为笔划和图像样式是因为这种噪声而合并的。这使得新的噪声图像成为模型的已知数据的一部分，该模型使用它生成与训练数据集非常相似的新图像，但考虑到新的结构。换句话说，它可以很容易地将任何编辑过的图像作为输入，对其进行足够的模糊处理，但不会太多，以保持全局语义和结构细节，并对其进行去噪，从而生成一个神奇地将您的编辑考虑在内的新图像。该模型甚至没有使用笔划或编辑示例进行训练，只使用原始人脸图像！当然，在人工简单编辑的情况下，它仍能仔细设计架构，只生成编辑的部分，而不是重新创建整个图片。

这非常酷，因为它无需重新训练，可以使用单个无条件模型解决诸如条件图像生成、基于笔划的图像合成和编辑、图像修复、着色和其它逆问题。当然，这仍然只适用于一种生成样式，即它所训练的数据集。然而，这仍然是一个很大的优势，因为您只需要一个数据集，而不是像我们讨论的那样，使用基于GAN的图像修复网络的多个相关数据集。

唯一的缺点可能是生成新图像所需的时间，因为这种迭代过程比单次通过更传统的基于GAN生成模型花费的时间要多得多。尽管如此，我还是宁愿等待几秒钟，以获得良好的图像效果，也不愿实时出现模糊。你可以用他们公开提供的代码或使用他们网站上的演示自己尝试，这些都在参考文献的链接中。

让我知道你对这个模型的看法。我很高兴看到这个基于随机微分方程的方法，在几个月甚至更短的时间内会发生什么！正如你所知，这只是对这项惊人的新技术的概述。我强烈邀请您阅读他们的论文，以便更好地理解SDEdit，链接如下。

参考文献

SDEdit, Chenlin Meng et al., 2021, https://arxiv.org/pdf/2108.01073.pdf
Project link: https://chenlin9.github.io/SDEdit/
Code: https://github.com/ermongroup/SDEdit
Demo:
https://colab.research.google.com/drive/1KkLS53PndXKQpPlS1iK-k1nRQYmlb4aO?usp=sharing

本文视频

SDEdit一点成画，小白也能是绘画大师！

SDEdit一点成画，小白也能是绘画大师！相关推荐

小学生计算机舞蹈,最近“泼水成画”很火？舞蹈生VS体育生，看到计算机：你是来添乱的？...
最近泼水拍照非常的流行,不知道大家在私底下有没有关注过这个视频,而且在这个视频中,这些花放在水里确实也特别的好看,接下来就一起来看一下,不同的学生拍出来的泼水照片都是什么样的. 首先大家看到的就是舞蹈 ...
【莫安迪原创摄影作品】深圳最美夕阳-烟云成画
[莫安迪原创摄影作品]深圳最美夕阳-烟云成画
用HTML5图形拼成的画房子,未来的房子绘画作品图片欣赏
有很多的孩子都在好奇未来的房子是怎么样的,所以他们画出了很多的绘画作品来满足他们的好奇心.学习啦小编整理了未来的房子绘画作品,欢迎欣赏! 未来的房子绘画作品图片展示未来的房子儿童画作品未来的房子作 ...
c++画多边形_如何画出超漂亮的极光绘画教程
艺学绘小编收集整理了如何画出超漂亮的极光绘画教程在单独图层上瞎几把画几条蚯蚓. ctrl+T变个形,拉一下透视. 滤镜-模糊动感模糊. 第一次的模糊范围数值不要太大,保证最远处最细的曲线还能看得清 ...
大门门窗怎么画？各种大门的绘画技巧
大门门窗怎么画?门口怎么画?场景怎么画?背景怎么画?绘画初学者应该怎样学好绘画?学习绘画难吗?怎样才能学习好绘画?想必这些都是绘画初学者们经常在想的问题吧,就是不知道如何才能学习好绘画,然后绘画出自己 ...
学计算机专业要画素描吗,数位板可以画素描吗？电脑绘画也能画素描！
数位板可以画素描吗?电脑绘画也能画素描!纸上素描训练我们多以铅笔.炭笔为主,涂抹工具做辅助,运笔手法也有上握式.上握式小拇指支撑.三角式.三角式小拇指支撑,排线方法更是不一而足,这都是由传统绘画材料的 ...
计算机画图软件如何画出眼泪,【推荐】女生哭泣的表情怎么画？教你如何绘画出让人动容的泪水...
原标题:[推荐]女生哭泣的表情怎么画?教你如何绘画出让人动容的泪水哭泣表情怎么画?女生哭泣的表情怎么画?学习绘画难吗?怎样才能学好绘画?想必这些哦都市绘画初学者们经常在想的问题吧,女生就是沉鱼落雁. ...
手绘线条一直画不直_视频教程 | 绘画小白福音，曲线画不准、直线画不直？来，我教你...
曲线篇曾几何时,画画的时候被一条条曲线折磨的死去活来一条曲线描了又描.擦了又擦,纸都划破了还画不准不论哪个地方的曲线,看到就头疼如果一条曲线再加上透视,那可能就game over了曲线真的很 ...
ProcesingJoy ——连线成画【JAVA】
效果图稍加修改的效果代码和注释如下 <

SDEdit一点成画，小白也能是绘画大师！

SDEdit一点成画，小白也能是绘画大师！

SDEdit一点成画，小白也能是绘画大师！相关推荐

最新文章

热门文章