在前面的图文中,我有介绍现在大火的文本生成图像模型Stable Diffusion,能够将你幻想中的一切都变成现实,随着模型的开源,各种技术也应运而生,Lora作为一种图像微调技术也是作为一个神器深受广大网友的喜欢。

那么什么是Lora?

LoRA,英文全称Low-Rank Adaptation of Large Language Models,直译为大语言模型的低阶适应,这是微软的研究人员为了解决大语言模型微调而开发的一项技术。

比如,GPT-3有1750亿参数,为了让它能干特定领域的活儿,需要做微调,但是如果直接对GPT-3做微调,成本太高太麻烦了。

LoRA的做法是,冻结预训练好的模型权重参数,然后在每个Transformer(Transforme就是GPT的那个T)块里注入可训练的层,由于不需要对模型的权重参数重新计算梯度,所以,大大减少了需要训练的计算量。

研究发现,LoRA的微调质量与全模型微调相当,我愿称之为神器。

要做个比喻的话,就好比是大模型的一个小模型,或者说是一个插件。

LoRA本来是给大语言模型准备的,但把它用在cross-attention layers(交叉关注层)也能影响用文字生成图片的效果。

最早的Stable Diffusion模型其实不支持LoRa的,后来才加入了对LoRa的支持,据说,Simo Ryu是第一个让Stable Diffusion支持LoRa的人,可在github上cloneofsimo/lora: Using Low-rank adaptation to quickly fine-tune diffusion models. (github.com)看看这个项目。

如何使用Lora?

首先我们要搭建SD环境,具体可参考我前面的图文stable diffusion--二次元福利 (qq.com)

其次我们要借助广大网友的力量,进入一个神奇的网站Civitai

然后在右上角选择Lora标签进行搜索过滤

最后根据个人喜好,选择你喜欢的风格,下载模型以及对应的插件。

Demo演示

1、如果你不知道用哪种模型,直接选择下载次数最多的,这里我们以NeverEnding Dream (NED)模型作为例子,下载模型,并将模型放在安装SD路径下models/stable-diffusion文件夹。

2、然后我们要选择对应的插件,比如Cute_girl_mix4,大家自行搜索下载即可,模型放在SD安装路径下models/lora文件夹。

3、打开SD界面,选择扩展--->可用--->加载自。

4、直接Ctrl+F搜索可选附加网络(LoRA插件),右侧选择install,安装完成后选择已安装标签,可以看到可选附加网络(LoRA插件)已经安装成功,然后应用并重启用户界面。

5、然后重启SD,进入界面选择stable-diffusion模型为neverendingDreamNED_bakedVae.safetensors,可选Lora插件为我们下载好的cuteGirlMix4

6、输入提示词和负面提示词

7、选择采样步数为20,CFG为10

8、点击生成按钮,得到图像

重复调整提示词以及相关参数可以得到更多图片

听说喜欢AI绘画的都关注公众号:IoT Inn

这是你幻想中的女友吗相关推荐

  1. 50行python代码打造一款女友监控器_手把手教你50行Python代码,给心目中的女友微博秒评论...

    突然觉得,现在发微博已经成为当代青年的潮流,或分享自拍美照,或分享美食美景,小编的女朋友也不例外,平时爱分享一些我俩生活的趣事. 但是她最近开始给我抱怨我从来不给她的微博评论,我作为骨灰级" ...

  2. 手把手教你50行Python代码,给心目中的女友微博秒评论

    突然觉得,现在发微博已经成为当代青年的潮流,或分享自拍美照,或分享美食美景,小编的女朋友也不例外,平时爱分享一些我俩生活的趣事. 但是她最近开始给我抱怨我从来不给她的微博评论,我作为骨灰级" ...

  3. 我是鉴黄师,在工作中遇到了我的前女友……

    命运的玩笑 就是在最需要她的时候失去她 也是在最不希望见到她的地方见到她 
 我是「鉴黄师」,这是我的故事 
 >2013年   冬 
 这一年有很多现象级人物,比如跳着骑马舞的鸟叔,唱着「法海 ...

  4. 想用情书感动前女友的傻小子

    我心里真的好难过,寝室只有我一个人,同学都搬到外面住了,每想到我都要流泪,她说不会在见我了,我只有给她的邮箱写信,不停的写信... 第一封 猪猪: 再叫一次我最爱的人吧.现在很静,没人,不停的抽烟,许 ...

  5. (轉貼) 美電腦工程師改寫遊戲軟體向女友求婚成功 (News)

    Abstract 美國一名電腦程式工程師改寫女友最喜歡的電腦遊戲程式,在遊戲中向女友求婚,結果不僅抱得美人歸,還贏得遊戲發明公司的獎勵. Introduction轉貼自http://news.pcho ...

  6. AI分析猪叫声中的情绪,“贾维斯”“大白”会不会照进现实?

    我相信不少男生都曾幻想过,自己有一套钢铁侠的战甲,说一句:"Jarvis, are you there?"耳边就能听到"For you always"的回应.笔 ...

  7. 幻想未来,助你成为人生赢家?

    每个人都幻想过自己的未来,不过,只有部分幻想能起到激励作用.错误的幻想方式,很可能会让人更加沮丧,更提不起干劲. 什么样的人容易处在"受激励状态"呢?那些相信自己具有足够能力,能够 ...

  8. 外文翻译原文附在后面_本周作业是翻译外文文献摘要,电子版,回复到作业中,提交附件,格式按照外文文献翻译模版,先中文再附上英文原文,只需要摘要_学小易找答案...

    [多选题]自动变速器按汽车驱动方式分( ). [单选题]无意想象的极端形式是 [其它]使用DBUtils 完成对user表的CRUD [其它]学号尾号为8的同学下列作业选一样提交即可 1)提纲 ;2) ...

  9. 家装中,你最后悔的事是什么?上海极家装修公司简介!

    家装中,你最后悔的事是什么?上海极家装修公司简介!接触过很多业主,就没有不后悔的!至于原因,因为总会出现各种"考虑不周",有些真的是失之毫厘差之千里! 下面上海极家装修公司简介!就 ...

最新文章

  1. 安卓开发重磅炸弹!程序员福利!《高级Kotlin强化实战学习手册(附Demo)》开放下载!
  2. 笔记-知识产权与标准化知识-GB/T-12504-1990计算机软件质量保证计划规范
  3. Win11再被吐槽,文件管理器居然都有广告了?
  4. 初一模拟赛(5.4)
  5. Java 简单五子棋程序的实现
  6. SQLiteDatabase中query、insert、update、delete方法参数说明
  7. 72000 Star 下载工具被 GitHub 下架,背后的数字千年版权法案是什么?
  8. JavaScript:执行机制
  9. spring springMvc spring-boot spring-cloud分别是什么
  10. 激光雷达+imu_大疆览沃浩界(Livox Horizon)激光雷达测评
  11. 人脸识别中的损失函数ArcFace及其实现过程代码(pytorch)--理解softmax损失函数及Arcface
  12. 计算机第四章文字处理软件应用课后答案,计算机应用基础第四章文字处理软件.doc...
  13. matlab对数据的量化分析方法,金融量化分析数据传输方法与流程
  14. PHP 5.6 结束安全支持;万豪称 500 余万护照数据被窃
  15. Microsoft fsx 飞行模拟器 SDK的一些心得
  16. Mac安装、配置Maven
  17. python泰坦尼克号生存预测论文_用Python预测泰坦尼克号生存情况
  18. RabbitMQ 限流 流量削峰
  19. Android开源库总结
  20. win10彻底卸载52好压

热门文章

  1. 使用Ajax实现百度下拉框
  2. 【转载】国内主要的量化交易平台及链接
  3. 备赛电赛学习硬件篇(七):智能小车底板设计,暂时停更该系列
  4. 深入浅出业务幂等性---4、消息幂等
  5. Mac 系统打开 word 显示全黑怎么处理
  6. 自学考试-“运筹学基础”
  7. 用c语言交通信号灯论文,plc交通信号灯毕业论文.doc
  8. 原生与H5混合式开发详解
  9. Android 微博登录
  10. Hive常用库表操作及知识汇总