U^2-Net跨界肖像画,完美复刻人物细节,GitHub标星2.5K+
来源 | Jack Cui
头图 | CSDN下载自视觉中国
今年提出的 U^2-Net 显著性检测算法,刷爆了 reddit 和 twitter,号称是 2020 年「地表最强」的静态背景分割算法,可以看下效果:
你以为今天要讲分割?错!
U^2-Net 这两天又出新活,在 U^2-Net 网络架构基础上,实现了人物肖像画的生成,细节「完美」复刻。
我用自己的「歪脖子照」测试了下效果。
万年不变老规矩,继续手把手教学。
算法原理、环境搭建、效果实现,一条龙服务,尽在下文!
U^2-Net
受 U-Net 网络的启发,U^2-Net 也是一种类似编码-解码(Encoder-Decoder)的网络结构。
研究者在此基础上,提出了新型残差 U-block(ReSidual U-block, RSU),融合不同尺寸接受野的特征,以捕获更多不同尺度的上下文信息。
RSU 网络与现有卷积块的结构对比如下:
最右边的结构,就是 RSU-L,L 表示编码器中的层数,C_in、C_out 分别表示输入和输出通道,M 表示 RSU 内层通道数。
具体而言,RSU 主要有三个组成部件,分别是一个输入卷积层、一个高度为 L 的类 U-Net 对称编码器 - 解码器结构以及一个通过求和来融合局部和多尺度特征的残差连接。
为了更好地理解设计理念,研究者在下图中对 RSU 与原始残差块进行了比较。
结果显示,RSU 与原始残差块的最大区别在于 RSU 通过一个类 U-Net 的结构替换普通单流卷积,并且通过一个由权重层转换的局部特征替换原始特征。
更值得注意的是,得益于 U 形结构,RSU 的计算开销相对较少,因为大多数运算在下采样特征图中应用。下图展示了 RSU 与其他特征提取模块的计算成本曲线图:
U^2-Net 的整体网络架构如下:
U^2-Net 主要由三部分组成:
6 阶段编码器;
5 阶段解码器;
与解码器阶段和最后编码器阶段相连接的显著图融合模块。
说完网络结构,再看下损失函数,研究者使用了类似于整体嵌套边缘检测(HED)的深度监督算法:
其中,M=6, 为 U^2-Net 的 Sup1, Sup2, ..., Sup6 stage。
为 Sup1, Sup2, ..., Sup6 输出的显著图,的损失函数;
为最终融合输出的显著图,的损失函数;为每个损失函数的权重。
对于每个 l ,采用标准的二值交叉熵损失函数:
其中,(r, c) 为像素坐标;(H, W) 为图像尺寸,height 和 width。
分别表示 GT 像素值和预测的显著概率图。
总的来说,U^2-Net 的设计构建了具有丰富多尺度特征以及较低计算和内存成本的深度架构。
更详细的内容,可以直接看 paper:
https://arxiv.org/pdf/2005.09007.pdf
效果测试
Github 项目地址:
https://github.com/NathanUA/U-2-Net
第一步:搭建测试环境。
很简单,没啥特殊的库,安装好 Pytorch、Numpy、Skimage 等基础第三方库即可。
第二步:下载训练好的模型权重文件。
我将程序和权重文件都进行了打包,嫌麻烦,可以下载直接使用。
第三步:在工程目录,运行程序。
python u2net_portrait_test.pybr
在 u2net_portrait_test.py 可以查看输入图片路径和输出图片路径:
最后再看下运行效果:
更多精彩推荐
Python画出心目中的自己
清华、北大教授同台激辩:脑科学是否真的能启发AI?
用Python分析5000+抖音大V,粉丝最喜欢的视频类型是它
Julia 创始人访谈:简单机器学习任务可与 Python 媲美,复杂任务胜过 Python
一年加班几百小时,我是二胎宝妈,更是敢拼的女程序员
U^2-Net跨界肖像画,完美复刻人物细节,GitHub标星2.5K+相关推荐
- GitHub 标星 2.5K+,U^2-Net 跨界肖像画,完美复刻人物细节!
来源 | Jack Cui 头图 | CSDN下载自视觉中国 今年提出的 U^2-Net 显著性检测算法,刷爆了 reddit 和 twitter,号称是 2020 年「地表最强」的静态背景分割算法, ...
- 三星w609 java_完美复刻叫板三星W2019,这款商务手机有点牛
随着近年来国产手机市场的发展壮大,很多厂商都在相互排挤,除了手机自身的功能以外,在产品外观造型上也可谓是如出一辙,而且还有一个很有意思的话题,就是谁又复制了谁的外观设计等等,然而能在行业中脱颖而出的屈 ...
- 完美复刻小米路由器Misstar Tools(MT工具箱)BY:蜜罐版
文章目录 完美复刻小米路由器Misstar Tools(MT工具箱)BY:蜜罐版 界面展示 支持硬件 刷开发版ROM包 安装并开启SSH工具 使用Putty连接小米路由器 安装MT工具箱 蜜罐版 完美 ...
- PDF怎么转换成Excel?用迅读PDF大师,完美复刻、精准转换
哪种场景会频繁地使用PDF软件?不出意外,相信大家都会脱口而出:职场.其实除了职场,教师也是PDF高频使用人群.可能大家会好奇,老师不都手写板书吗,怎么跟PDF扯上关系了呢?众所周知,随着互联网的高速 ...
- 《中国垒球》:跨界联赛·完美落幕
2022年"震元杯"中国垒球联赛第二阶段于11月28日在绍兴棒(垒)球体育文化中心举行了闭幕式和颁奖典礼,至此首届中国垒球联赛全部结束.经过两个阶段162场比赛(含全明星赛163场 ...
- 「完美复刻」的人物肖像画生成算法 U^2-Net
一.前言 大家好,我是 Jack . 今年提出的 U^2-Net 显著性检测算法,刷爆了 reddit 和 twitter,号称是 2020 年「地表最强」的静态背景分割算法,可以看下效果: 你以为今 ...
- 皱眉细节完美复刻,阿尔伯塔大学团队标星2.5K的项目生成超逼真的肖像画
来源:机器之心 本文约2400字,建议阅读5分钟 这个团队提出了一种用于肖像画生成的深度网络架构 U^2-Net,不仅所需的计算开销较少,而且生成肖像画具有丰富的细节.该论文被 ICPR 2020 会 ...
- 前端打印样式乱了_皮具大百科之皮料上的3D打印,连花的阴影都能完美复刻!超美工艺...
打印即可呈现皮雕独特的华丽纹样.印花工具的使用方法不是只有一种.改变敲打方式或倾斜角度,也可以描绘出其他各式各样的花样.印花不只可以垂直打印,也有斜向打印,连续打印等技法.而打印时的力道也会影响印花的 ...
- fc坦克大战游戏完美复刻
文章目录 一. 介绍 二. 制作基本物体 三. 控制玩家坦克移动.转向 四. 子弹脚本.爆炸脚本 五. 敌人AI寻路算法 六. 坦克生成点脚本 七. 用链表实例化地图 八. 玩家游戏控制器脚本 九. ...
最新文章
- 中科院遗传发育所王秀杰团队鉴定出10种潜在的2019-nCoV蛋白酶抑制剂
- 图像分割 c语言程序,OpenCV实现图像切割功能
- 设计模式之Adapter(适配器)(转)
- 邮件服务器收件人数量限制,邮件服务器DBMail
- Exp1 PC平台逆向破解 20164309 欧阳彧骁
- loadrunner9.10安装及破解问题解决(转)
- QPW 行政区划字典表(td_area)
- AliOS Things 电源管理框架使用说明
- html页面布局实例,div布局实例
- PPT设计制作与美化
- 悉尼大学SOFT2201课业解析
- 计算机课有平时成绩吗,大学计算机基础课程平时成绩评定方法探究.doc
- kibana 失效原因 ,亲测有效
- ftp安装包windows版_连接远程Linux系统的免费SSH与FTP软件介绍
- oracle上机题库_Oracle笔试题库附参考答案
- 传奇装备信息悬浮框(悬浮框在哪里可以弄出来)
- 【征集】面试第四问,你对出差的看法 总结
- java pdf去水印_java使用spire.pdf去除水印
- cstring转int(long转CString)
- 【Unity】使用 [xxx] 标记类和方法
热门文章
- IDEA ctrl+alt+L 格式化快捷键无效时解决
- 消息服务发送短信,手机接收不到短信解决思路
- Docker 使用教程
- IDE set arguments
- Creative Web Typography Styles | Codrops
- 电路设计中电阻电容电感的选择原则
- html中单双引号嵌套,[转]详细讲述asp中单引号与双引号(即引号多重嵌套)的用法...
- 库卡机器人坐标手势_美的、格力、娃哈哈......那些跨界的机器人玩家现在怎么样了?...
- SQL: ORA-00979 不是 GROUP BY 表达式 及 Group by 的用法说明
- spark-submit --files 动态加载外部资源文件