可生成高清视频的Stable Diffusion来了!分辨率提升4倍,超分算法来自腾讯,支持Colab在线试玩...
明敏 发自 凹非寺
来源 | 量子位 QbitAI
免费玩的Stable diffusion,又出新变种了!
古典人像丝滑切换,还都是4倍超分辨率水平,细节也就多了亿点点吧,眉毛发丝都根根分明。
还能从一盘草莓意大利面,丝滑变成一份蓝莓面。
这就是最近在推特上火了Stable Diffusion视频版2.0.
它能够通过Real-ESRGAN进行上采样,让生成画面达到4倍超分。
要知道,之前Stable Diffusion生成的图像如果想要高清,还得自己手动提升分辨率。
现在直接二合一,在谷歌Colab上就能跑!
食用指南
Colab上的操作非常简单,基本上就是傻瓜式按照步骤运行即可。
需要注意的是,过程中要从个人Hugging Face账户中复制token登入。
拉取模型前,记得在Hugging Face上授权,否则会出现403错误。
搞定以上问题后,就能来用Stable Diffusion来生成高清视频了。
生成一段视频需要给出2个提示词,然后设置中间的步数,以及是否需要上采样。
中间步骤越多,生成所需的时间越长;同样上采样也会一定程度上加长生成时间。
还能直接用代码来跑,修改几个简单的参数就能搞定。
除了线上模式外,该模型还支持本地运行,项目已在GitHub上开源。
注意需要额外安装Real-ESRGAN。
超分算法来自腾讯
简单来说,这次Stable Diffusion的变种版本就是把生成的图片,通过超分辨率方法变得高清。
Stable Diffusion的原理,是扩散模型利用去噪自编码器的连续应用,逐步生成图像。
一般所言的扩散,是反复在图像中添加小的、随机的噪声。而扩散模型则与这个过程相反——将噪声生成高清图像。训练的神经网络通常为U-net。
不过因为模型是直接在像素空间运行,导致扩散模型的训练、计算成本十分昂贵。
基于这样的背景下,Stable Diffusion主要分两步进行。
首先,使用编码器将图像x压缩为较低维的潜在空间表示z(x)。
其中上下文(Context)y,即输入的文本提示,用来指导x的去噪。
它与时间步长t一起,以简单连接和交叉两种方式,注入到潜在空间表示中去。
随后在z(x)基础上进行扩散与去噪。换言之, 就是模型并不直接在图像上进行计算,从而减少了训练时间、效果更好。
再来看超分辨率部分。
用到的方法是腾讯ARC实验室此前开发的Real-ESRGAN,被ICCV 2021接收。
它可以更有效地消除低分辩率图像中的振铃和overshoot伪影;
面对真实风景图片,能更逼真地恢复细节,比如树枝、岩石、砖块等。
原理方面,研究人员引出了高阶退化过程来模拟出更真实全面的退化,它包含多个重复的经典退化过程,每个又具有不同的退化超参:
下图为Real-ESRGAN进行退化模拟的示意图:
采用的是二阶退化,具体可分为在模糊(blur)、降噪(noise)、resize、JPGE压缩几个方面。
到训练环节,Real-ESRGAN的生成器用的是RRDBNet,还扩展了原始的×4 ESRGAN架构,以执行resize比例因子为×2和×1的超分辨率放大。
想要单独使用这种超分算法也不是问题。
在GitHub上下载该模型的可执行文件,Windows/Linux/MacOS都可以,且不需要CUDA或PyTorch的支持。
下好以后只需在终端执行以下命令即可使用:
./realesrgan-ncnn-vulkan.exe -i input.jpg -o output.png
值得一提的是,Real-ESRGAN的一作Wang Xintao是图像/视频超分辨率领域的知名学者。
他本科毕业于浙江大学本科,香港中文大学博士(师从汤晓鸥),现在是腾讯ARC实验室(深圳应用研究中心)的研究员。
此前曾登顶GitHub热榜的项目GFPGAN也是他的代表作。
One More Thing
前两天,大谷老师也发布了用Stable Diffusion生成了一组少女人像,效果非常奈斯。
顺带让我们都完成了一下“阅女无数”的成就(doge)。
Stable Diffusion还能玩出哪些新花样?你不来试试吗?
Colab试玩:
https://colab.research.google.com/github/nateraw/stable-diffusion-videos/blob/main/stable_diffusion_videos.ipynb
GitHub地址:
https://github.com/nateraw/stable-diffusion-videos
Hugging Face授权:
https://huggingface.co/CompVis/stable-diffusion-v1-4
参考链接:
[1]https://twitter.com/_nateraw/status/1569315090314444802
[2]https://www.bilibili.com/video/BV1yd4y1g7Wz?spm_id_from=333.999.0.0
— 完 —
分享
收藏
点赞
在看
可生成高清视频的Stable Diffusion来了!分辨率提升4倍,超分算法来自腾讯,支持Colab在线试玩...相关推荐
- 惊!读取大脑重建高清视频,Stable Diffusion还能这么用
金磊 发自 凹非寺 量子位 | 公众号 QbitAI 现在,AI可以把人类脑中的信息,用高清视频展示出来了! 例如你坐在副驾所欣赏到的沿途美景信息,AI分分钟给重建了出来: 看到过的水中的鱼儿.草原上 ...
- 【生成模型】Stable Diffusion原理+代码
文章目录 前言 一.Latent space 二.AutoEncoder 和 VAE 1.AutoEncoder: 2.VAE: 三.Diffusion扩散模型 1.前向过程 2.逆向过程 四.多模态 ...
- 仙剑风景图片生成【InsCode Stable Diffusion美图活动一期】
一. Stable Diffusion 模型在线使用地址:https://inscode.csdn.net/@inscode/Stable-Diffusion 二.模型版本及相关配置: Steps: ...
- 最新3D GAN可生成三维几何数据了!模型速度提升7倍,英伟达斯坦福出品
明敏 发自 凹非寺 量子位 报道 | 公众号 QbitAI 2D图片变3D,还能给出3D几何数据? 英伟达和斯坦福大学联合推出的这个GAN,真是刷新了3D GAN的新高度. 而且生成画质也更高,视角随 ...
- “零”代码改动,静态编译让太乙Stable Diffusion推理速度翻倍
作者|梁德澎 AI 作图领域的工具一直不尽人意,直到去年 8 月 Stable Diffusion 开源,成为AI 图像生成领域无可争辩的划时代模型. 为了提升其推理效率,OneFlow 首度将 St ...
- Stable Diffusion搭建全过程记录,生成自己的专属艺术照
引言 最近硅星人多次报道过 AI 图片生成技术,提到过 DALL·E.Midjourney.DALL·E mini(现用名 Craiyon).Imagen.TikTok AI绿幕等知名产品. 实际上, ...
- stable diffusion制作韩国版AI女友关键词
问题 怎么样使用stable diffusion简单制作韩国版AI女友?这里假设已经安装好stable diffusion webui版.这里主要记录一下韩国版AI女友sd配置参数 Stable Di ...
- 开源风暴吞噬AI界?从Stable Diffusion的爆火说起
近日,文本生成图像模型Stable Diffusion背后的公司Stability AI宣布获得了1.01亿美元超额融资,估值达10亿美元,这家基于开源社区的"草根"企业的风头一时 ...
- 首个中文Stable Diffusion模型开源;TPU演进十年;18个PyTorch性能优化技巧 | AI系统前沿动态...
1. TPU演进十年:Google的十大经验教训 希腊神话中,特洛伊战争的起因是两方争夺世界上最美的女人--海伦,后世诗人将海伦的美貌"令成千战舰为之起航".TPU就像海伦,它的出 ...
最新文章
- 2022-2028年中国TPE弹性体行业市场研究及前瞻分析报告
- HDU6346(最小权值完美匹配)
- ribbon负载均衡@LoadBalanced
- shiro+redis多次调用doReadSession方法的解决方案
- redis集群 + 哨兵 + zookeeper_技术干货 | Redis的哨兵和集群
- C++模板类嵌套类内部类局部类的区别
- 京东2020算法工程师0824笔试题整理
- PL/SQL developer快速执行选定语句
- erp系统是什么软件
- 任玉刚【Android开发艺术探索】读后笔记三
- 阿里云漏洞修复 RHSA-2019:0109-Important: perl secur
- aho-corasick php,Aho-Corasick自动机浅析
- classic shell_使用Classic Shell将Windows 7开始菜单带到Windows 10
- [openwrt] 使用ubus实现
- 数据结构:关于时间复杂度的例题计算
- Keystore、Key attestation
- springboot整合minio上传文件
- 出来混迟早是要还的:算法技术债
- 第七十篇:从ADAS到自动驾驶(三):车道检测
- Python+Yolov5反光衣黄色马甲特征识别监测快速锁定目标人物体
热门文章
- expandableListview的使用,模仿qq好友分组点击收缩扩展
- 2021.icpc网络赛第二场
- enumeration value 'xxxxx' not handled in switch警告
- 11款最受欢迎的亚马逊卖家工具
- C++堆空间和栈空间的区别
- 【全文翻译】ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses on Machine.....
- 《大话设计模式》读书总结
- 电脑快捷键大全(2)
- python实现决策树-数据集如下图所示,根据我们对决策树的理解,设计一棵决策树,并输入{Age:36,Salary:H,STU:No,Credit:OK} 测试数据,是否与预期结果一致?
- 有数Bizhelp帮助文档在线制作软件官方