当PS遇上了AI:分割抠图算法总结
说到抠图,我们更多人首先想到的是Photoshop。选定目标主体后,选择魔棒抠图、方框抠图、滤镜抠图、通道蒙版抠图等方法,根据待处理图像的特点,采取有针对性的手动方法,获得想要的抠图效果。
图1 PS处理多余文字
现在市面上的AI抠图应用越来越多,这些应用程序易于操作。只要上传图片,然后通过AI进行处理,就可以快速生成图像抠图的主体。从计算机的识别角度来看,图像是由前景和背景组成的,抠图的感兴趣区域是前景(如人像)。目的是分离前景和背景,表达如下:
图2 背景分离公式
其中:I表示像素索引,F表示前景,B表示背景,α表示像素属于前景的概率(取值0~1),下面总结一下主流的AI抠图算法。
Deep Image Matting(2017)
Ning Xu和Brian Price等人使用deep learning来解决图像消光问题。该网络由两个阶段组成:第一阶段是一个深度卷积encoder-decorder网络,它将一个图像补丁和一个trimap作为输入,并由阿尔法预测损失和一个新的损失函数进行惩罚。第二阶段是一个小型的完全卷积网络,用更准确的阿尔法值和更清晰的边缘来完善第一个网络的阿尔法预测。
图3 网络的两个阶段:encoder-decoder stage和refinement stage
为了训练消光网络,研究者通过将真实图像中的物体合成到新的背景上,创建一个更大的数据集。他们找到简单或普通背景的图像,包括27张训练图像和视频中的每五帧。使用Photoshop,并小心翼翼地手动创建一个阿尔法哑光和纯前景颜色。因为这些物体有简单的背景,可以为它们拉出准确的哑光。然后,把这些当作地面实景,对于每个阿尔法和前景图像,研究者在MS COCO和Pascal VOC中随机抽取N张背景图像,并把物体合成到这些背景图像上。
BackgroundMatting v2
高分辨率的哑光是一种挑战,因为直接应用深度网络会产生不切实际的计算和内存消耗。如图4所示,人类的哑光通常是非常稀疏的,其中大面积的像素属于背景(α=0)或前景(α=1),只有少数区域涉及更精细的细节,如头发、眼镜和人的轮廓周围。因此,研究者没有设计一个在高分辨率图像上运行的网络,而是引入了两个网络;一个在低分辨率下运行,另一个只在基于前一个网络预测的原始分辨率的选定斑块上运行。
图4 Gbase下采样操作,Grefine选择容易出错的斑块
MODNet:Trimap-Free Portrait Matting in Real Time
ZhanghanKe和Jiayu Sun 将现有的肖像矩阵方法要么需要获得昂贵的辅助输入,要么涉及多个阶段,计算成本高。昂贵的计算,使其不太适合于实时应用。他们在这项工作中提出了一个轻量级的消光目标分解网络(MODNet)。
图5 MODNet的结构
首先,该工作引入了一个高效的Atrous空间金字塔池(e-ASPP)模块,以融合多尺度特征进行语义估计。第二,提出了一个自监督的子目标一致性(SOC)策略,使MODNet适应现实世界的数据,以解决无边际方法中常见的领域转移问题。MODNet很容易以端到端方式进行训练。它的速度远远高于同时代的方法,在1080TiGPU上以每秒67帧的速度运行。
图6 PPM-100无Trimap方法的视觉比较
实验表明,MODNet在Adobe Matting Dataset和一个名为 "Detail"的数据集上的表现远远优于之前的无截距方法。在Adobe Matting Dataset提出的精心设计的摄影肖像消光(PPM-100)基准上,MODNet都以较大的优势胜出。此外,MODNet在日常照片和视频上取得了显著的成果。日常照片和视频上取得了显著效果。
AI抠图可拓展性很强,未来或许并不局限于“静态平面”抠图,在图片基础上,还能进一步图片编辑或者二维动画生成,通过在线流媒体技术,实现图片主体随意剪辑,创新传统抠图形式也是未来的发展趋势之一。期待未来的分割抠图功能不断拓展,图片处理内容生态更加丰富,AI产业迈向更高的阶梯。
当PS遇上了AI:分割抠图算法总结相关推荐
- [当人工智能遇上安全] 5.基于机器学习算法的主机恶意代码识别研究
您或许知道,作者后续分享网络安全的文章会越来越少.但如果您想学习人工智能和安全结合的应用,您就有福利了,作者将重新打造一个<当人工智能遇上安全>系列博客,详细介绍人工智能与安全相关的论文. ...
- 当PS遇上Sketch 竟是棋逢对手
Part1前言 设计行业的发展日新月异,设计工具也层出不穷,面对这么多的设计软件,一个新手设计师很难搞明白要从哪里开始学起.还有很多在线协同工具,比如Mastergo.Figma.即时设计,那这些设计 ...
- [当人工智能遇上安全] 6.基于机器学习的入侵检测和攻击识别——以KDD CUP99数据集为例
您或许知道,作者后续分享网络安全的文章会越来越少.但如果您想学习人工智能和安全结合的应用,您就有福利了,作者将重新打造一个<当人工智能遇上安全>系列博客,详细介绍人工智能与安全相关的论文. ...
- [当人工智能遇上安全] 7.基于机器学习的安全数据集总结
您或许知道,作者后续分享网络安全的文章会越来越少.但如果您想学习人工智能和安全结合的应用,您就有福利了,作者将重新打造一个<当人工智能遇上安全>系列博客,详细介绍人工智能与安全相关的论文. ...
- [当人工智能遇上安全] 1.人工智能真的安全吗?浙大团队外滩大会分享AI对抗样本技术
您或许知道,作者后续分享网络安全的文章会越来越少.但如果您想学习人工智能和安全结合的应用,您就有福利了,作者将重新打造一个<当人工智能遇上安全>系列博客,详细介绍人工智能与安全相关的论文. ...
- ps抠头发插件_PS顶级抠图插件Topaz Mask AI 1.0.2!支持2020Win/Mac,转发领取
Topaz Mask AI是一款运用了AI人工智能技术的智能蒙版创建工具 利用AI技术的强大功能快速而准确地创建蒙版 每当工作流程中需要遮罩时,尤其是具有挑战性和详细的遮罩时,都应使用Mask AI. ...
- AI图像识别遇上对抗性图像竟变“瞎子”
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 [导读]在视觉方面,AI和人类的差距有多大?来自UC Berkel ...
- 区块链、AI遇上艺术,科技突破艺术的想象空间
近期,在中国最高的美术馆--上海云间美术馆,来自人工智能和区块链领域的专家.高校学者和知名艺术家,共同展开了一场关于区块链.人工智能和数字艺术的深度交流,探讨区块链和人工智能赋能数字艺术的新方向. 与 ...
- 【AI作画】当梵高遇上东方明珠——梵高画风迁移全纪录
[AI作画]当梵高遇上东方明珠--梵高画风迁移全纪录 视频: [AI作画]当梵高遇上东方明珠--梵高画风迁移全纪录 梵高出生于1853年3月30日荷兰乡村津德尔特的一个新教牧师家庭,早年的他做过职员和 ...
最新文章
- Report Studio值提示通过prompt宏函数给sql查询传参
- Unable to load native-hadoop library for your platform... using builtin-java classes where applica
- 【PC工具】更新百度网盘高速下载工具——亿寻使用方法及注意事项
- [转载]windows phone 墓碑化(9)
- oracle可以在liux上装_【Oracle】手把手教你做之Linux上安装Oracle11g
- LeetCode Algorithm 剑指 Offer 25. 合并两个排序的链表
- jqgrid ajax reload,jqgrid“reloadGrid”动作后将数据重新加载到文本框
- 易语言通过服务器发送文件,易语言服务器与客户端发送文件
- 一个PHP压缩类,在线压缩文件
- Android 系统(53)---关于触摸屏快速点击事件误识别为滑动事件
- B/S应用中的ActiveX数字签名相关问题杂谈
- Gradle sync failed: Unsupported method: NativeArtifact.getSourceFolders().
- 整数规划---指派问题
- X波段雷达对海探测试验与数据获取
- 跟着翁凯老师学Cday1#学习记录#
- php实现 合唱队形(算法想清楚在动)
- 百度导航怎么不显示服务器,win7系统百度首页导航不见了怎么办
- 中科院读芯术python答案_Python调用中科院NLPIR(ICTCLAS2015)详解 刘超(lch614730@163.com)...
- 超好用的javascript 实现右加左减
- 1617_MIT 6.828 JOS boot代码分析