首先是大模型（.ckpt）

这个模型训练给我的感觉就是出图即训练，使用即训练，你可以通过打开图片文件夹，删除不需要的，调整生成关键字之后的批量生成来训练这个模型，他成长的很慢，但是会慢慢趋向你期待的画风。（小细节）关于图片大小影响未知，电脑配置不够，试过云环境：配置是13RAM，15GPU，78G磁盘
以微量关键词，使用一个训练的model做正向，没有反向关键词，面部以及高清修复，39采样，8.5相关，1920*1080，超时了。。pc端壁纸图除非电脑配置过硬。否则不建议高清修复。(或者可以试试魔法书优化算法)

然后简单补充一下上一档的笔记

上一篇文章说的embedding训练，但是实际上是严格来说是风格训练，我们在训练页面可以看出来。

下面的subject.txt是趋向于人物模型训练，不过在过度训练下，两者差异不大。
再此提醒，训练的前几张图建议守在电脑桌前，看看自己生成的训练图片是否和自己素材相关，如果不对劲，尽快暂停。

为什么你炼丹效率不高呢？

首先，说一下现象以及原因

现象：最明显的现象就是你每跑500步就会默认出的那一张图和你投入进去的图片毫无关系。
原因：你的练习图库画风差距过大，大模型环境与图片并不对等，自然语言描述生成的并不好。我们主要来说一个最后一个，以解决为目的看一下这个的原因。

尝试的解决办法和纠正原因

首先，你可以通过修改大模型或者提高图库纯粹程度来缓解这个状况。如果要提高训练的精度，可以自己看一下预处理的自然语言描述，自动生成的简述和图片在卡通或者偏奇幻方面基本是各说各的。ai并不理解小众类卡通或者奇幻文化本身，于是会以模型相对应的图片来识别你的图片到底是什么，你可以理解为谷歌翻译10次的水平，这里可以举个例子。

正面例子

可以看到，这是一张半成品的图片，加了混合现实的正向关键词，夜晚，面向观众，喝茶(虽然变成可乐了)。
我们可以看出来的：
一只狼人，面向观众，背后是夜晚的城市，天上是一轮红月。
ai给我们的自然语言描述：
a man in a red and black outfit standing in front of a city at night with a red sun.
百度翻译：
一个穿着红黑相间衣服的男人在夜晚站在一座城市前，阳光明媚。
我们可以看出来前文形容的其实差不多，这张图产自很久以前，那时模型没有过多训练，细节比如手部还有些许问题，不过ai在预处理并不会写到这些罢了，那么有问题的就只有sun了。
因为加入了夜晚的关键词，但是在最初图像生成的时候并没有加属于月亮的细节，比如环形山，那么对于我们来看，其实确实也很像落日下的场景，这个描述对当时想练这种风格的我来说，影响不大，所以采用了。

反例

这张可以看出来主题变化没有太大，混合现实的比重没有那么高，背景模糊处理导致有些许动漫化，
我们这里用动漫角色来代替主角进行描述：
一个动漫角色，穿着红色的棉服，上面有黑色的绒毛，背对着夜晚的城市。
ai给出的预处理：
a anime character with a cat’s head and a red cape on, standing in front of a cityscape
百度翻译：
一个戴着猫头和红色斗篷的动漫角色，站在城市景观前
红色斗篷与棉服相差甚远，不过考虑到我这个模型并没有投喂服装图片，可以暂且忽略，带着猫头这个描述可以说是完全不搭边了，我当时这个训练集并不需要cos倾向，那么显然这个描述会带偏我的练习，那么有两种选择，如果数据集够大，你可以直接删掉这张图和文字描述，不过要注意，删除记得看一下下一张是否是该图片的对照组，如果是，你需要看一下描述是否复合要求。
嘛，训练集不够多的话就是需要更改了，你可以把文字描述的前段改成：
a anime character with red and black clothes
这样可以稍微挽回一下。

最后聊一下，为什么你可能没有这些操作，但是画风或者模型训练的依旧可以达到需要

首先。这是可能步数训练过多，虽然每一步学习程度很低，但是过多训练会导致画风训练成模型，可能纵使其超过0.35相关，就会画出这类图片，会干扰你其他描述的相关性，不过如果你是主攻该模型的训练，那影响可能会小很多，不稳定的描述会导致你下一次输入这一类相似描述的时候自动偏向这种类型，也就是前面举例的夜晚里有太阳，但是减低相关度是个好选择，在下一次出图，如果只是想用一些这个风格，你可以部分采用即:

modelTest(×0.25)

也有其他调整权重的方法，不过我最早听说是这种啦。
那么，感谢你看到这里，结束啦！

影响stable diffusion的embedding训练效率的部分问题和拟解决办法相关推荐

关于stable diffusion的embedding训练的一篇随笔
前言嗯,因为最近ai绘画很火啊,而且可以本地部署,很多人开始投喂ai然后画一些喜欢的东西,这是刚接触4天的笔记,那么我整理下目录,来展示一下这篇笔记都有什么吧. 1,绘画的关键词和反向关键词 2,调 ...
parasolid 原因效率_20个solidworks常见问题及解决办法
1 .问:在装配体环境下如何快捷的复制的子装配体或零部件 ? 答:在装配体界面中,按 Ctrl ,然后用鼠标拖曳想复制的子装配体或零部件. 2 .问:如何转化 PROEUG CATIA 格式文件 ? ...
【生成模型】Stable Diffusion原理+代码
文章目录前言一.Latent space 二.AutoEncoder 和 VAE 1.AutoEncoder: 2.VAE: 三.Diffusion扩散模型 1.前向过程 2.逆向过程四.多模态 ...
Stable Diffusion AI 绘画入门指南
Stable Diffusion AI 绘画入门指南市面上用的最多的AI绘画工具是 Stable-Diffusion(SD) 和 Midjourney(Mid),SD是在本地运行的服务,开源,门槛高 ...
Stable Diffusion背后公司再融1亿美金，网友：资本的盛宴，艺术家却分不到一杯羹？...
詹士羿阁发自凹非寺量子位 | 公众号 QbitAI Stable Diffusion背后公司又获1亿美金投资. 这样一则消息在AI圈被广泛传播,主角Stability AI估值10亿美金,参与 ...
AI绘画黑科技Stable Diffusion WebUI在线部署使用教程
AI绘画黑科技Stable Diffusion,能够根据文字描述生成精美图像,开源且在消费级GPU上就能运行. Stable Diffusion WebUI是Stable Diffusion的Web版 ...
GPT-4问世；LLM训练指南；纯浏览器跑Stable Diffusion
1.多模态GPT-4正式发布:支持图像和文本输入,效果超越ChatGPT OpenAI的里程碑之作GPT-4终于发布,这是一个多模态大模型(接受图像和文本输入,生成文本).主要能力有: GPT-4可以 ...
Stable Diffusion系列课程上：安装、提示词入门、常用模型（checkpoint、embedding、LORA）、放大算法、局部重绘、常用插件
文章目录一.Stable Diffusion简介与安装二.文生图(提示词解析) 2.1 提示词入门 2.2 权重 2.3 负面提示词( Negative prompt) 2.4 出图参数设置 2. ...
【InsCode Stable Diffusion 美图活动一期-关于梦里的那位古风美少女】如何快速拥有一位古风少女？一起来调试AI绘图，训练你自己的专属模型~
InsCode Stable Diffusion 美图活动一期-关于梦里的那位古风美少女 1️⃣ 工具介绍 2️⃣ 在线地址及使用教学 3️⃣ 我的模型及输出图片 3.1 模型版本及相关配置 3.2 ...

影响stable diffusion的embedding训练效率的部分问题和拟解决办法