'InstructPix2Pix Learning to Follow Image Editing Instructions是一篇非常有意思的文章,有意思说的是效果,要做出论文的效果过程并没那么顺利。首先需要微调GPT3模型,这个花钱花力气,在之前的文章里已经提过,可以参考finetune一个GPT3。在此基础上稍微修改一下prompt2prompt的代码获取相关样本,然后再按论文的方法修改网络和初始化权重,fine tune一下stable diffusion。代码放在: xuduo35/InstructPix2Pix

此处,咱就demo一下效果。

python3 stable_txt2img.py --ddim_eta 0.0 --n_samples 4 --n_iter 1 --ddim_steps 50 --ckpt logs/instruct/checkpoints/last.ckpt --W 256 --H 256 --init_img ./samples/tower.jpg --prompt "add fireworks-in sky"

python3 stable_txt2img.py --ddim_eta 0.0 --n_samples 4 --n_iter 1 --ddim_steps 50 --ckpt logs/instruct/checkpoints/last.ckpt --W 256 --H 256 --init_img ./samples/tower.jpg --prompt "add fireworks-in sky" --negprompt "blurred"

python3 stable_txt2img.py --ddim_eta 0.0 --n_samples 4 --n_iter 1 --ddim_steps 50 --ckpt logs/instruct/checkpoints/last.ckpt --W 512 --H 512 --init_img ./samples/Vermeer_Girl.jpg --prompt "Apply face paint"

python3 stable_txt2img.py --ddim_eta 0.0 --n_samples 4 --n_iter 1 --ddim_steps 50 --ckpt logs/instruct/checkpoints/last.ckpt --W 512 --H 512 --init_img ./samples/Vermeer_Girl.jpg --prompt "What if she were in an anime?"

python3 stable_txt2img.py --ddim_eta 0.0 --n_samples 4 --n_iter 1 --ddim_steps 50 --ckpt logs/instruct/checkpoints/last.ckpt --W 512 --H 512 --init_img ./samples/Vermeer_Girl.jpg --prompt "Put on a pair of sunglasses?"

python3 stable_txt2img.py --ddim_eta 0.0 --n_samples 4 --n_iter 1 --ddim_steps 50 --ckpt logs/instruct/checkpoints/last.ckpt --W 256 --H 256 --init_img ./samples/dog.jpg --prompt "pig"

python3 stable_txt2img.py --ddim_eta 0.0 --n_samples 4 --n_iter 1 --ddim_steps 50 --ckpt logs/instruct/checkpoints/last.ckpt --W 256 --H 256 --init_img ./samples/dog.jpg --prompt "dog in Paris"

python3 stable_txt2img.py --ddim_eta 0.0 --n_samples 4 --n_iter 1 --ddim_steps 50 --ckpt logs/instruct/checkpoints/last.ckpt --W 256 --H 256 --init_img ./samples/sunflowers.jpg --prompt "roses"

python3 stable_txt2img.py --ddim_eta 0.0 --n_samples 4 --n_iter 1 --ddim_steps 50 --ckpt logs/instruct/checkpoints/last.ckpt --W 256 --H 256 --init_img ./samples/girl.jpg --prompt "She should look 100 years old" --negprompt "deformed"

python3 stable_txt2img.py --ddim_eta 0.0 --n_samples 4 --n_iter 1 --ddim_steps 50 --ckpt logs/instruct/checkpoints/last.ckpt --W 512 --H 512 --init_img ./samples/girl.jpg --prompt "make hair red"

python3 stable_txt2img.py --ddim_eta 0.0 --n_samples 4 --n_iter 1 --ddim_steps 50 --ckpt logs/instruct/checkpoints/last.ckpt --W 512 --H 512 --init_img ./samples/girl.jpg --prompt "make hair curly"

InstructPix2Pix: 随口修图相关推荐

  1. GPT-3、Stable Diffusion一起助攻,让模型听懂甲方修图需求

    来源:机器之心 AI 可以完全按照甲方意愿修图?GPT-3.Stable Diffusion 一起助攻,让模型秒变 PS 高手,改图随心所欲. 扩散模型大火之后,很多人将注意力放到了如何利用更有效的 ...

  2. 组态王怎么做超级曲线_鲁班修图:一款超级好用的修图软件

    黑光网 中国人像摄影学会 合作媒体 文章来源:鲁班修图(微信号:gh_91c465aecde2) 就在2020年的5月份,上线了一款不同寻常的修图软件.它不是完全人工智能的自动处理,那样太没个性了:也 ...

  3. 脑洞大开!Adobe等新研究把「自拍」变「他拍」,魔幻修图效果感人

    选自arXiv 作者:Liqian Ma.Zhe Lin等 机器之心编译 编辑:蛋酱.张倩.杜伟 自拍也能变为他拍,魔幻修图界又出新招式,但效果实在感人. 智能手机的出现,让摄影变成了一项大众艺术,也 ...

  4. 修图动口不动手,有人把StyleGAN和CLIP组了个CP,能听懂修图指令那种

    点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要5分钟 Follow小博主,每天更新前沿干货 「求帮忙把背景 P 成五彩斑斓的黑,可以吗?」 有人认为,自然语言将是软件的下一代接口:你有什么 ...

  5. AI实时特效,魔幻修图,Adobe Photoshop相机拯救PS菜鸟

    图片来源:https://twitter.com/beckihagen/status/1191436317005008896/photo/3 来源:机器学习研究会订阅号 上传一张特效照片需要几步?常规 ...

  6. 《淘宝网开店 拍摄 修图 设计 装修 实战150招》一一1.17 如何选择合适的拍摄地点...

    本节书摘来自异步社区出版社<淘宝网开店 拍摄 修图 设计 装修 实战150招>一书中的第1章,第1.17节,作者: 葛存山,更多章节内容可以访问云栖社区"异步社区"公众 ...

  7. 抠图+修图+调色+合成+特效Photoshop核心应用5项修炼pdf

    下载地址:网盘下载 内容简介 编辑 <抠图+修图+调色+合成+特效Photoshop核心应用5项修炼>以案例为主导,核心内容包括抠图.修图.调色.合成和特效,这些案例均源自经验丰富的设计师 ...

  8. matlab能修图吗,相机上这个“功能”,不打开会影响修图效果,别等拍完照片才知道...

    单反相机的功能有很多,我就发现很多摄影师只要学会基本操作,就再也不看菜单栏里面的其它功能. 摄影是前期创作的过程,离不开后期,后期可以让照片的细节和颜色更好地凸显出来,能让照片从"平淡&qu ...

  9. etl常用的三种工具介绍_Adobe Photoshop常用修图插件+屏幕模式+内容感知移动工具介绍...

    PS教学第27期 第一篇 1.5 Photoshop的三种屏幕模式 [Ps教程] 1. 本节课将为您演示,系统的三种屏幕显示模式.首先依次点击[文件 > 打开]命令,打开一张示例图片. imag ...

最新文章

  1. android 常见分辨率(mdpi、hdpi 、xhdpi、xxhdpi )及屏幕适配注意事
  2. html 怎么在画布上绘制一个圆,javascript – 如何在画布上画一个圆圈?
  3. Linux设备驱动模型之platform总线
  4. 亲手完成4大企业实战项目,挑战Python全栈高薪岗位!
  5. uni map 实时记录轨迹_国际学校纷纷引进MAP考试系统,到底有什么好处?
  6. big5码在线转换_【开源】基于 SpringBoot 的 web kettle 在线采集平台
  7. 解决ipad,ios录屏保存失败-5823
  8. 开源引擎推荐—ElGameEngine 作者:trcj(http://blog.csdn.net/trcj1)
  9. 机器学习EPD:概率密度估计
  10. 树莓派安装TPLINK_WN725n v2网卡驱动
  11. sublime wrong
  12. distinct 多列详解
  13. php背景图片居中对齐命令,css怎么设置背景图片自适应居中
  14. 接口压测之Locust
  15. 基于Linux系统PXE启动DOS工具
  16. 乖离率背离公式_掌握这“八大底部买入形态+主力抄底逃顶选股公式”,把握底部起涨点...
  17. Typora Beta版过期解决
  18. 30天自制操作系统——自写设计
  19. 《第三节》解读Logback的配置文件
  20. Switch组件的使用

热门文章

  1. 好记性不如烂笔头——Vite篇
  2. pandas的个人笔记输入
  3. mongodb pymongo
  4. 杀死O2O的三大杀手?!
  5. Scrapy爬取新浪微博用户信息、用户微博及其微博评论转发
  6. QT数据库访问技术简介
  7. 《算法交易与套利交易》
  8. 【北亚数据恢复】Hp DL380服务器raid磁盘故障导致数据库数据丢失的数据恢复案例
  9. Springboot配置Swagger2
  10. 程序思路分享 计算机毕业设计Python+Spark+Hadoop+Flink微博舆情预警系统 微博舆情可视化 舆情大数据 微博大数据 微博爬虫 大数据毕业设计 大数据毕设