无需用户输入!Adobe提出自动生成高质量合成图像新方法
点击上方,选择星标或置顶,不定期资源大放送!
阅读大概需要15分钟
Follow小博主,每天更新前沿干货
本文转载自:机器之心 | 作者:He Zhang等
编辑:小舟、杜伟
没有用户输入,也能生成高质量的合成图像吗?
图像合成是指组合不同图像中的部分区域以合成一张新的图像,一个常见的用例是肖像图片的背景替换。为了获得高质量的合成图像,经常需要专业人员手动执行多个编辑步骤,例如图像分割、抠图、前景色彩去污,即使使用复杂的图像编辑工具,这些步骤也是非常耗时的。
近日,Adobe 联合约翰霍普金斯大学的研究者提出了一种无需用户输入即可生成高质量合成图像的新方法。该方法能够进行端到端的训练,以优化对前景和背景图像上下文和颜色信息的利用,其中在优化过程中考虑了合成质量。
具体而言,受拉普拉斯金字塔融合(Laplacian pyramid blending)的启发,该研究提出一种密集连接的多流融合网络,以有效融合来自不同前景和背景图像的信息。
此外,该研究还引入了一种自学式(self-taught)的策略,以逐步训练从简单到复杂的用例,进而弥补训练数据不足的问题。实验表明,该方法能够自动生成高质量的合成图像,并在定性和定量评估中均优于现有方法。
论文链接:https://arxiv.org/pdf/2011.02146.pdf
论文简介
该研究提出了一种基于深度学习的图像合成框架,可以在给定一对前景和背景图像的情况下直接生成合成的肖像图像。前景分割网络与细化网络一起用于提取肖像蒙版。基于肖像蒙版,研究者又提出了一种端到端多流融合(MLF)网络,从而以不同比例合成前景和背景图像。
MLF 网络的设计思想来自拉普拉斯金字塔混合方法。它使用两个编码器分别提取前景和背景图像的不同级别的特征图,然后通过解码器逐级融合,以重建最终的合成结果。该方法是全自动的,着重于缓解由于前景遮挡和颜色净化不完善导致的边界伪影。大体而言,该论文解决了图像合成中颜色、外观协调的正交问题。
此外,该研究提出了一种从易到难的自学式数据增强方案,以生成用于训练 MLF 网络的高质量合成数据。基本思想是使用在更简单数据上进行训练的 MLF 网络,以组合更具挑战性的训练数据来实现性能提升。
在合成图像和真实图像上评估的实验结果表明,该方法较以往方法更加有效。用户研究的结果也验证了该方法卓越的感知质量。
深度图像合成
虽然在该论文中仅将其实现用于肖像合成,但该框架是通用的。研究者也希望将其用于其他图像合成的应用。
该框架将一对前景和背景图像作为输入,并生成合成图像。它由三个部分组成:前景分割网络、蒙版细化网络和多流融合网络。、
首先,分割网络自动从前景图像中提取对象蒙版,然后蒙版细化网络将图像和蒙版作为输入以细化蒙版边界,最后将重新定义的蒙版和前景背景图像一起传输到多流融合网络以生成合成结果。
多流融合图像合成网络的结构示意图如下所示:
从易到难的数据增强
为了训练多流融合(MLF)网络,每个训练样本都是三元组 [FG、BG、C]。其中 FG 是前景图像,BG 是背景图像,C 是 FG 和 BG 的目标合成图像。研究者希望 MLF 网络学习在 FG 和 BG 之间产生视觉上的最佳合成效果,因此目标图像 C 的质量是该方法的关键。但是手动创建高质量的合成数据集需要专家级的人工操作,这就限制了训练数据收集的可扩展性。
为了解决该问题并生成无需人工干预就能进行大规模图像合成的数据集,该研究提出了一种使用自学式方案且易于处理的数据扩展方法。基本思想是使用 MLF 网络生成更具挑战性的数据以提升自身性能。
该研究首先在一些简单的三元组上训练 MLF 网络,其中前景图像 FG 是具有简单彩色背景的肖像图像。然后收集了很多这样的简单肖像图像,并使用 MLF 网络为下一个训练阶段生成更具挑战性的训练三元组。
该数据增强方案的结构示意图如下所示:
下图为自学式数据增强算法生成的三元组(前景、背景和目标)图像,可以看出,该算法可以生成近乎完美的高质量目标图像。
实验
研究者通过定量和定性评估来评估该深层图像合成方法,并进行了用户研究,以评估用户对合成结果的感知质量偏好。最后,该研究还进行了一些控制变量实验。实验所用数据集:DUTS、MSRA-10K 和 Portrait 分割数据集。该研究在这些数据集上训练了分割和细化网络。在实现细节上,细分和优化模块通过 ADAM 算法进行了优化,学习速率为 2×10^−3,批处理大小是 8。所有用于细分和优化模块的训练样本均调整为 256×256。
该论文提出的方法与传统基于混合的合成方法(如拉普拉斯金字塔混合法)进行了比较。该研究还使用了 SOTA 抠图方法评估基于抠图的图像合成方法。此外,该研究还比较了一种称为复制粘贴(copypaste)的基线方法,该方法将从细化分割模块估计的细化分割蒙版用于该合成的软 alpha 蒙版。
为了公平比较,所有被比较的方法都使用与该方法相同的细化蒙版。对于羽化(feathering)方法,研究者采用σ=2 的高斯模糊来软化蒙版。对于拉普拉斯金字塔混合方法,该研究使用 OpenCV 实现。由于基于抠图的方法需要三元图(trimap),因此研究者对细化模板进行了二值化处理,然后通过将宽度为 16 的窄边界带标记为未知边界来生成伪三元图。
样本三元图以及各种方法的生成效果如下图 7 所示。需要注意的是,在基于抠图的合成方法中采用了自动消色算法,以提高其合成质量。
如下表 1 所示,该研究根据合成数据评估的定量结果证明了该方法的有效性。注意:定量结果仅在未知区域上计算得到。
此外,与其他方法对比的用户研究结果如下表 2 所示:
控制变量实验
研究者进行了 3 次控制变量实验,在 SynTest 上的定量结果如下表 3 所示。其中 w/o-DataAug 代表没有使用该方法的数据扩展而训练的的网络,Single-Enc 代表一个具有单流编码器的网络,w/o-RefNet 代表没有分割细化的网络的基线。该评估结果是仅在未知区域上得到的。
真实图像上控制变量实验的结果可参见下图 8:
重磅!DLer-AI顶会交流群已成立!
大家好,这是DLer-AI顶会交流群!首先非常感谢大家的支持和鼓励,欢迎各位加入DLer-AI顶会交流群!本群旨在学习交流人工智能顶会(CVPR/ICCV/ECCV/NIPS/ICML/ICLR/AAAI等)、顶刊(IJCV/TPAMI/TIP等)写作与投稿事宜。包括第一时间发布论文信息和公开演讲视频,以及各大会议的workshop等等。希望能给大家提供一个更精准的研讨交流平台!!!
添加请备注:AI顶会+学校/公司+昵称(如CVPR+上交+小明)
???? 长按识别添加,即可进群!
无需用户输入!Adobe提出自动生成高质量合成图像新方法相关推荐
- 无需用户输入,Adobe提出自动生成高质量合成图像新方法
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 没有用户输入,也能生成高质量的合成图像吗? 编辑:迈威AI研习社 ...
- 科技最前沿!Adobe提出自动生成高质量合成图像新方法
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:机器之心 AI博士笔记系列推荐 周志华<机器学习> ...
- NVIDIA开源DG-Net:用GAN生成高质量行人图像,辅助行人重识别/在线试衣
前几天英伟达开源了DG-Net的源码.让我们来回顾一下这篇CVPR19 Oral的论文. 论文是英伟达(NVIDIA), 悉尼科技大学(UTS), 澳大利亚国立大学(ANU)的研究人员 在CVPR19 ...
- EMNLP 2021 | 大道至简:微软提出可生成高质量文本表示的预训练语言模型
©作者 | 常馨 学校 | 北京邮电大学硕士生 研究方向 | NLP.信息检索 Abstract 基于自动编码器的语言模型在 Dense Retrieval(DR)中受到越来越多的关注,因为其训练编码 ...
- 生成高质量人脸图像celebA-HQ
转自:https://blog.csdn.net/yunyi4367/article/details/80784205 参考:https://zhuanlan.zhihu.com/p/52188519 ...
- 无需用户输入,Adobe提出自动高质量图像合成新方法
本文转载自机器之心. 选自arXiv 作者:He Zhang等 机器之心编译 编辑:小舟.杜伟 没有用户输入,也能生成高质量的合成图像吗? 图像合成是指组合不同图像中的部分区域以合成一张新的图像,一个 ...
- 算法:五笔编码,如何根据输入的词条自动生成输入编码
算法:五笔编码,如何根据输入的词条自动生成输入编码 一.想要实现的 最近做的一个五笔码表工具,想要实现根据用户输入的词条自动生成输入编码. 比如: 输入 我们 生成 trwu 输入 五笔基础知识 生成 ...
- StyleGAN v1 :用于生成高质量图像数据的生成对抗方法
StyleGAN是2018年的一篇文章,目前已经被TPAMI收录,该方法能够生成高质量的图像数据并且做到了高层特征可控,v1的主要工作在于设计了一个style-based生成器,其中包括了styles ...
- 苏黎世大学 AI 新研究:仅用少量样本生成高质量光声图像
近日,苏黎世联邦理工学院和苏黎世大学的科学家宣布,可以利用机器学习方法来改善光声成像,成果发表在Nature Machine Intelligence上(点击查看论文链接) "光声成像&qu ...
最新文章
- 云计算出海!阿里云将成新加坡智慧国家战略“军师”
- pythonapriori算法特点_Python --深入浅出Apriori关联分析算法(一)
- 毕业生必须知道:干部身份、三方协议、派遣证
- 中国健康体检行业行情动态及未来发展趋向分析报告2022年版
- 【Linux】一步一步学Linux——cd命令(20)
- 生成某一文件夹内文件清单(批量处理)
- composer mysql_php – 无法看到mysql数据库时,composer安装失败
- 玩转mini2440开发板之【在Ubuntu 14.04下编译安装tslib 1.4版本】
- MVC5 Controller构造方法获取User为空解决方法
- 分析股票大数据_Python大数据分析量学祖师爷网站数据
- 12项目综合变更设置
- C语言——字符串函数
- JS Addition
- Windows 7 常用快捷键 命令
- 开发小程序遇协同、平台兼容难题,该如何破局?
- PHP printf()函数格式化使用详解
- 面向项目(八)—— #if defined 与 #ifdef
- 人的一生最后悔什么?——曾获各界名流都认同的忠告
- Python中常见的字符串小笔试题
- Java数据库课程设计-招聘人才管理系统
热门文章
- bat递归查找指定文件_dos命令find图文教程,查找搜索文件文本字符串,bat批处理脚本...
- python pandas rename_使用Pandas重命名文件
- GBDT算法原理及附有源码实现的 转
- pandas 官方API
- execute、executeQuery和executeUpdate之间的区别
- 北大燕博南:下一代AI芯片— 存内计算的硬核与软着陆 | 报告详解
- 《AI系统周刊》第1期:社群招新,打通智能计算软硬件“任督二脉”
- 智源x清华开源FastMoE,万亿AI模型基石
- 前方高能:1024程序员节读书攻略来来来来啦!
- 如果你是PM,想转PM,拿走