AI 美甲生成器｜训练笔记

by: 周末 & 海辛

和@周末基于 Stable Diffusion 进行训练，做出了一款由文字生成美甲图案的 AI 美甲生成器，以下是一些生成成果。

Fine tune 模型的训练其实并不难，目前有很多基于 Stable Diffusion 的 fine tune pipeline，也多半会提供一个 end-to-end 的 notebook 给用户使用。

理论上只需要指向自己的数据集就可以点运行运行运行，然后高枕无忧地等着模型训练好上传到 Hugging Face。但天下哪有不出 bug 的 e2e pipepline，更遑论各种环境都装的完美顺畅的便宜云服务器。碰上报错只能勉勉强强查查，正所谓 Stack Overflow 是我的（社区）大学，GitHub issues 是我的售后热线（x

在整个训练的过程中，最重要的还是准备数据集，在美甲的数据集中，需要对抓取的图片进行预处理去除无关信息并保证统一的版式，这是最耗费精力也是对训练影响最大的部分。

其次是图片的描述，因为 SD 是监督学习，所以必须给每张图片打上准确合适的标签，提供给SD来理解语义与图像之间的关联。

我们借助了另一个机器学习模型 BLIP 来给图片打 label，BLIP 感觉是一个一周工作 100 小时的社畜，经常在描述语里自言自语和咆哮，比如：

a bunch of fake nails with flowers on them, inspired by Louis Comfort Tiffany, cloisonnism, ffxiv heavensward, is this loss?, ebay listing thumbnail, presenting magic gem, earth tones, vases and bottles, the last guardian skinny towers, aesthetic!!!!!!!!!!

以及，

black and white stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil, an airbrush painting, cobra, nail art, the dress's lower, pale white detailed reptile skin, posable pvc, talons, panels

（这种醉汉模式的标注力真的让人一言难尽，如果重来一次我会选择 Clip Interrogator）

我们对 Blip 标注的内容进行了人工的清理和修正后，就都丢给 stable diffusion 开始学习了。

进度条往前跑，每训练一些步数，模型就会 dump 出效果图，一开始它做出来的图是这样的：

努力学习之后它做出来的图就变成了：

看着效果图从莫名其妙到走上正轨还挺有趣的，是一种不断有正反馈的体验，意外地很有成就感。

等到最终训练完成，我们会得到一个 14GB 的 checkpoint，记录所有模型的参数。下载存储都很费时间和空间。好在可以将其转换为 HF 的 diffusers，所需的储存空间会大大降低，并且可以直接调用 diffusers 的 API 来测试生成图片，比 SD 自带的 text2img 脚本要方便很多。

最终模型和 Demo 在 Hugging Face 上发布，并且在 Twitter 上得到了 Hugging Face 官号的转发。

Hugging Face 是机器学习届的 GitHub , 有非常良好的社区氛围，在制作美甲模型的过程中，Hugging Face 的 Stuff - AK 和 Patrick von Platen，都有帮助我们。（直到发布许久后还会提意见，多少有一些被暖 juan 到。）

除此以外 Hugging Face 上有无限的存储空间用于上传模型；Database, 模型和 Space 之间的互相索引也做得很好；还可以使用 Gradio 或 Streamlit 很方便地制作前端 demo 的 UI；最近还上线了 Tasks 帮助用户进行实用机器学习入门。

我觉得 Hugging Face 是 showcase 自己的 AI 模型以及向 AI 界其他人学习的最好的场合。

上传好模型后，我 Duplicate Space 了 Hugging face 上 text to pokemon Space，在此基础上改为调用 Nail Set Diffuser 的模型，从而快速地做出了 AI 美甲生成器的 UI 界面。

这样其他用户皆可通过该界面快速生成美甲，GPU 也是使用的 Hugging Face 提供的云端 GPU. （有免费的 GPU 可供选择，但越贵的 GPU 速度会越快）

>> 模型下载地址：

https://huggingface.co/ringhyacinth/nail-set-diffuser

>> Hugging Face Space：https://huggingface.co/spaces/ringhyacinth/Nail-Diffuser

最后分享几张其他用户的测试成果：

希望本文能为你提供帮助，如果你是女性，也欢迎你加入我们的 女性 AI 艺术学习小组 共同实验 AI 艺术的可能性，请通过 全民熊猫计划公众号后台 留言告诉我你的联系方式。Thanks ♪(･ω･)ﾉ

......

opus

欢迎加入社群，留言讨论，参与 AIGC & 元宇宙 话题的共创～

添加请备注
AIGC & 元宇宙

AI 美甲生成器｜训练笔记相关推荐

AI公开课：19.04.17杨松帆—好未来AI Lab负责人《为人工智能时代打造一个AI老师》课堂笔记以及个人感悟
AI公开课:19.04.17杨松帆-好未来AI Lab负责人<为人工智能时代打造一个AI老师>课堂笔记以及个人感悟导读杨松帆,现为好未来教育集团人工智能实验室负责人.曾任FaceThi ...
10个优秀的AI艺术生成器
作者 | Alex McFarland 编译 | 岳扬目录 1. NightCafe[1] 2. DALL-E 2[2] 3. Deep Dream Generator[3] 4. Artbreed ...
AI文案生成器批量文案自动生成
AI文案生成器是一种可以利用人工智能技术来帮助写作的工具.它可以根据输入的关键词和主题自动生成各种类型的文案内容,例如新闻.广告.营销文案等.这种工具通常基于机器学习和自然语言处理技术,能够快速.准确 ...
从文本创建艺术，AI图像生成器的数据集是如何构建的
AIGC系列分享是整数智能推出的一个全新分享系列,在这个系列中,我们将介绍与AIGC概念相关的有趣内容.AIGC系列主要分为以下几篇文章: 被称为下一代风口的AIGC到底是什么? AIGC的数据集构建 ...
deeplearing.ai 深度学习课程笔记
deeplearing.ai 深度学习课程笔记一.神经网络与机器学习直观理解神经网络.随着神经网络层的加深,所提取的特征(函数)不断组合,最终得到更宏观.更复杂的所需要的特征.简单的例子比如房屋价 ...
AI绘画生成器推荐AI绘画自动生成器有哪些？
1.DALL-E2 DALL-E2 是由 OpenAI 开发的 AI 图像生成器.只需几分钟,你就可以使用 AI 创建高度逼真的图像. 2.Deep Dream Generator Deep Drea ...
英语ai文章生成器，英语文章生成器在线
英语AI文章生成器是一种基于人工智能技术的语言处理工具,能够自动生成各类英语文章.然而,由于其自动化特性,有时候生成的文章可能存在一些问题,比如语法错误.逻辑不清等.那么,如何提高英语AI文章生成器的 ...
北京黑马计算机培训宿舍图案,AI第二天课堂笔记【黑马UI培训】
AI第二天课堂笔记 ✔ 路径查找器 . ▼ 作用:对多个图形进行修剪或联集功能的等操作,与PS中布尔运算相似. . ▼ 联集:可将多个重叠的图形变成新的图形,如果多个图形没有重叠的部分那么它默 ...
可由一个尾指针唯一确定的链表有_极客算法训练笔记(三)，链表详细图解，别再逃避了朋友...
目录缓存引爆链表链表单链表双向链表循环链表双向循环链表 LinkedHashMap实现LRU缓存,源码解析(JDK1.8) 算法爬楼梯算法反转链表算法链表环检测缓存引爆链表存储结构 ...

AI 美甲生成器｜训练笔记

AI 美甲生成器｜训练笔记相关推荐

最新文章

热门文章