【Stable Diffusion】ControlNet基本教程（三）

接上篇【Stable Diffusion】ControlNet基本教程（二），本篇再介绍两个ControlNet常见的基本用法，更多用法欢迎关注博主，博主还会更新更多有趣的内容。
3.3更换物体皮肤
有时，我们不想改变物体的轮廓，只想改变物体表面的皮肤，例如，同一种鞋型，我们让它生成不同的鞋子表面的样式
（1）在“图生图（img2img）”中上传（Drop Image Here or Click to Upload）需要更换“皮肤”的物体图片

（2）在ControlNet中上传同一张需要处理的图像（Drop Image Here or Click to Upload）
（3）启用ControlNet，在“预处理（Preprocessor）”中选择“canny”或“hed”或“pidinet”，在“模型（Model）”中选择对应的“control_canny”或“control_hed”，值得注意的是在“预处理（Preprocessor）”选择“pidinet”，在“模型（Model）”对应的也是“control_hed”，这三种处理方式，都是对图像的边缘进行检测，根据自己的需求进行选择，可以在下方的“预处理分辨率（Annotator Resolution）”如果选择“hed”，就是“HED Resolution”，作用都是一样的，调节边缘线条，可以点击下方的“预览预处理结果（Preview Annotator Result）”对预处理后的效果进行观察，判断是否做进一步调整，调节参数的位置如图：

调节后效果实例：

（4）选择大模型，不同的大模型显示的图像效果不同，可以多试验几个，这里我使用“chilloutmix_NiPrunedFp32Fix”来试验
（5）输入Prompt和Negative prompt词，根据你的需要来输入，比如，你想要“一双蓝色的潮流鞋子”，就可以输入“blue fashionable shoes”，当然，你也可以根据你的需求输入其他的描述词，鞋带的颜色，鞋面有没有涂鸦等等。
（6）如果有其他需要，还可以配合lora等使用
效果如下：

（大模型：chilloutmix_NiPrunedFp32Fix
描述词：masterpiece, best quality, design sense, blue fashionable shoes）

（大模型：chilloutmix_NiPrunedFp32Fix
描述词：masterpiece, best quality, design sense, green fashionable shoes）
效果还是蛮不错的！设计师的灵感库、淘宝商家的福音！
3.5室外风景生成
我们想要用特定的颜色随便涂抹几笔就能生成一张好看的风景图片，使用ControlNet的语义分割模型就能实现
（1）使用特定的颜色进行涂抹创作，因为ControlNet使用的模型为ADE20K，颜色所代表的元素对应如下：
或者使用一张真实的风景图片，先进行语义分割，再做进一步处理，值得注意的是，在ControlNet中使用预处理选择segmentation，模型选择control_seg也可以将进行语义分割，但速度相对较慢，效果也不是太好，这里推荐使用：https://huggingface.co/spaces/shi-labs/OneFormer。打开之后：

如果有兴趣对语义分割以及其他计算机视觉的内容感兴趣，博主将会专门出博文讲一下
这里得到一张语义分割图像：

（2）在ControlNet中点击启用，上传语义分割图像，在预处理中选择None，在模型中选择control_seg，在Prompt和Negative prompt中加入一些描述词，再选择大模型，有兴趣还可以加入lora，以及其他一些模型、参数，就可以生成室外风景图像了。
图像示例：

（大模型：realisticVisionV13_v13
描述词：masterpiece, best quality, landscape,morden house, ,scenery, photorealistic, realistic）

（大模型：chilloutmix_NiPrunedFp32Fix
描述词：masterpiece, best quality, landscape,morden house, ,scenery, photorealistic, realistic）
怎么样，是不是很神奇！下一节，我们将使用ControlNet对人物的动作进行指导，让人物摆出特定的动作，这是ControlNet最神级的操作！这意味着可以自定义姿势，这意味着AI绘图正式进入自主可控的世代！另外，博主还将使用ControlNet展示对建筑/室内图像生成的基本用法。欢迎点赞、关注、收藏支持一波，更多AI绘画教程敬请期待！

【Stable Diffusion】ControlNet基本教程（三）相关推荐

万字长文：Stable Diffusion 保姆级教程
万字长文:Stable Diffusion 保姆级教程 2022年绝对是人工智能爆发的元年,前有 stability.ai 开源 Stable Diffusion 模型,后有 Open AI 发布 C ...
Stable Diffusion使用入门教程
本文参考bilibili的链接:B站第一套系统的AI绘画课!零基础学会Stable Diffusion,这绝对是你看过的最容易上手的AI绘画教程 | SD WebUI 保姆级攻略_哔哩哔哩_bilib ...
stable diffusion使用简明教程
controlNet模块使用 Enable选项启用,使用Openpose Edito中姿势生成需要将Openpose Editor指定为none状态. 上面骨骼图是通过Openpose Editor调 ...
AI专业教您保姆级在暗影精灵8Windows11上本地部署实现AI绘画：Stable Diffusion（万字教程，多图预警）
目录一.Stable Diffusion介绍二.Stable Diffusion环境搭建 1.Anaconda下载与安装 2.Pycharm(IDE)下载与安装 3.CUDA.CuDNN下载与安装 ...
云服务器搭建Stable Diffusion Web UI 教程
声明本教程仅供AI学习交流使用,不涉及任何AI绘画生成的内容,本人坚决反对使用AI进行违规违法操作!不建议使用AI绘画生成真人图片.请大家共同维护健康的网络环境. 本教程搭建的远程环境,仅供自己使用 ...
AI绘图实战（一）：制作购物车图标icon | Stable Diffusion成为设计师生产力工具
S:你安装stable diffusion就是为了看小姐姐么? I :当然不是,当然是为了公司的发展谋出路~~ 预先学习: 安装及其问题解决参考:<Windows安装Stable Diffusi ...
stable diffusion webui mov2mov
手把手教你用stable diffusion绘画ai插件mov2mov生成动画_哔哩哔哩_bilibili手把手教你用stable diffusion绘画ai插件mov2mov生成动画, 视频播放量 ...
【AI能否取代设计师】「Stable Diffusion」AI绘画黑科技将告诉你答案
上一篇文章:[AI绘画]我以Midjourney为主学习AI绘画效果咋样?_山楂山楂丸的博客-CSDN博客目录前言一.「Stable Diffusion」是什么二.「Stable Diffu ...
[AI画图本地免安装部署]Windows 10 Nvidia平台部署AUTOMATIC1111 版本 stable diffusion 免安装版
文章目录 [AI画图本地免安装部署]Windows 10 Nvidia平台部署AUTOMATIC1111 版本 stable diffusion 免安装版 1. 网络准备 1. 下载资源 2. 开始部 ...
GTX1660Ti 本地部署 Stable Diffusion踩坑记录
踩坑记录通过GitHub以及csdn开始安装安装Anaconda,编译器以及CUDA.Cudnn 编译器 CUDA与Cudnn安装,**涉及电脑显卡的版本配置问题** 本地部署踩坑实录常见问题 ...

【Stable Diffusion】ControlNet基本教程（三）

【Stable Diffusion】ControlNet基本教程（三）相关推荐

最新文章

热门文章