图像分割深度学习从零开始学习路线
点击上方“小白学视觉”,选择加"星标"或“置顶”
重磅干货,第一时间送达
本文转自:深度学习这件小事
第零阶段:看分割看不懂
这个阶段典型表现是,对于梯度下降,交叉熵损失,激活函数等概念模棱两可,这可能是博主说的零基础入门。你可能需要对深度学习和计算机视觉的基本任务有一个较为系统的学习,这块应该转看深度学习入门等相关话题,斯坦福的李飞飞cs231n被推荐的挺多的。这块我就不多赘述了,我更多分享后面三个阶段关于分割的学习。
第一阶段:看分割是分割
这个阶段的典型表现是,有了对深度学习和计算机视觉的基础,开始痴迷于各种分割网络和loss改进,对benchmark的每一个性能的改进都有很好的follow。这个阶段应该梳理以下问题。
语义/实例/全景分割的问题难点在哪里
benchmark数据集有哪些
评价指标是什么
现有的方法有哪些,关系是什么
还有哪些可以改进的地方
之前很粗糙的总结过自然影像和医疗影像领域语义分割的一些主要工作和发展脉络。
当然目前的SOTA model在各个benchmark上都有更新,自然影像可能是立夏之光的Expectation Maximization Attention Networks for Semantic Segmentation,医疗影像最新出了一篇Divided We Stand: A Novel Residual Group Attention Mechanism for Medical Image Segmentation,性能不错。
另外整理脉络建议读该领域的survey:
2019年5篇图像分割算法最佳综述
地址:https://zhuanlan.zhihu.com/p/95046357
理论搞的差不多,我们开始上一些code部分。这里推荐几个优秀的分割的repo,供入门的同学学习。
语义分割
立夏之光的EMANet,代码风格简洁易懂。
项目地址:https://github.com/XiaLiPKU/EMANet
Zijun Deng的分割模板,写的也非常不错。
项目地址:https://github.com/zijundeng/pytorch-semantic-segmentation
旷视的TorchSeg,很旷视。
项目地址:https://github.com/ycszen/TorchSeg
实例分割
FAIR的经典maskrcnn框架。
项目地址:https://github.com/facebookresearch/maskrcnn-benchmark
MMlab的MMDetection,用过的人都说好。
项目地址:https://github.com/open-mmlab/mmdetection
第二阶段:看分割是CV
这个阶段建立在第一个阶段的基础上,对分割问题有了较为全面的认识,各个benchmark和网络都能如数家珍。这个阶段的典型表现是开始看其他视觉领域的工作,包括但不限于Object Detection,Skeleton Detection,Face Detection,Text Detection,PersonReID,Single/Multi objectTracking,能发现分割从表示上的局限性和其他任务之间的相关性 (注意,第一阶段是分割这个domain内部工作之间的相关性)。到这里,你会发现分割可以用来做检测,回归可以用来做分割,不同CV领域的工作和设计思路对分割都可能有启发。
典型的最近Anchor-free的一系列工作(CornerNet, CenterNet, FCOS等),其实就是用FCN+Regression去做检测,本质上改变了Detection gt的表示。再比如谢恩泽的PolarMask: Single Shot Instance Segmentation with Polar Representation,将mask表示从dense pixel-wise的gt,变成极坐标下的polygon,进而可以用回归相关的参数。
第三阶段:看分割是learning
到了这个阶段,你会发现我们之前都在一个supervised并且没有noise的框架下讨论问题。比如一些unsupervised和semi-supervised的范式,怎么能更好的提升。如何让分割网络有更好的transfer能力和抵御对抗攻击的能力。这个阶段一般开始看learning相关的文章,包括但不限于unsupervised learning,semi-supervised learning,adversarial training,generative model,transfer learning, federated Learning。
比如在Indirect Local Attacks for Context-aware Semantic Segmentation Networks中,PSPNet和PSANet等SOTA分割模型被局部攻击后,效果还不如FCN baseline,是非常有意思的发现。Google的 Self-training with Noisy Student improves ImageNet classification,已经不再是从(人工)网络设计上去提升性能,而是通过一种半监督的方式,利用更多的无监督的数据进行迭代学习去提升分类的性能。何凯明的Momentum Contrast for Unsupervised Visual Representation Learning提出了一种新的无监督范式,在7个分割/检测的benchmark上得到了提升。
结语
大部分研究生硕士甚至是博士读完就停留在第一阶段,少部分能进入第二阶段开始对视觉问题有更深刻的认识。至于第三阶段,都是大牛!
原文链接:
https://www.zhihu.com/question/322077321/answer/925208015
下载1:OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2:Python视觉实战项目52讲
在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。
下载3:OpenCV实战项目20讲
在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~
图像分割深度学习从零开始学习路线相关推荐
- 收藏 | 图像分割深度学习从零开始学习路线
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文转自:计算机视觉联盟 第零阶段:看分割看不懂 这个阶段典型表现 ...
- AI基础:深度学习论文阅读路线(127篇经典论文下载)
0.导语 作者:Floodsung 出处:https://github.com/floodsung/Deep-Learning-Papers-Reading-Roadmap 翻译:黄海广 如果您是深度 ...
- 《Python深度学习从零开始学》简介
#好书推荐##好书奇遇季#深度学习入门书<Python深度学习从零开始学>,京东当当天猫都有发售.从模型和实验入手,快速掌握深度学习技术. 业内大咖强力推荐!!!武汉大学信息管理学院教授 ...
- 深度学习计算机视觉学习路线
文章目录 前言 一.机器学习及OpenCV学习路线 二.深度学习学习路线 总结 前言 对于深度学习的学习从模模糊糊的入坑,恍惚间已过半年,从开始对人工智能的新奇,到现在已经完全磨灭了当初的幻想.好啦不 ...
- 靠着这套计算机视觉学习路线,大厂视觉算法工程师offer拿到手软 深度学习/计算机视觉/学习路线/图像处理/算法工程师
一.引言 计算机视觉的黄金时代真的到来了吗? 近年来,随着深度学习技术的革新.计算存储的扩大.可视化数据集的激增,计算机视觉领域的研究开始蓬勃发展,如火如荼.在自动驾驶.智能安防.智慧城市.医疗保健. ...
- 《动手学深度学习》—学习笔记
文章目录 深度学习简介 起源 特点 小结 预备知识 获取和运行本书的代码 pytorch环境安装 方式一 方式二 数据操作 创建 运算 广播机制 索引 运算的内存开销 NDArray和NumPy相互变 ...
- 2020人工智能课程超级大列表:深度学习-强化学习-图神经网络-自然语言处理等...
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 本篇博文主要为大家介绍一个课程网站,汇集了机器学习,深度学习.强化学习的各个方面, ...
- 从零开始学习jQuery (十一) 实战表单验证与自动完成提示插件
本系列文章导航 从零开始学习jQuery (一) 开天辟地入门篇 从零开始学习jQuery (二) 万能的选择器 从零开始学习jQuery (三) 管理jQuery包装集 从零开始学习jQuery ( ...
- 模式识别研究生:三维点云从零开始学习
模式识别研究生:三维点云从零开始学习 #模式识别 三维点云 这是我第一篇博客,想记录下自己的学习探索的过程,一点点将其记录下来,应该会有助于更加系统的学习知识. 本人本科学的专业是电气工程以及自动化, ...
最新文章
- 字节跳动内部学习资料泄露!kafka入门教程
- 解决窗口属性兼容性问题的一些函数
- 无限乱斗机器人ap出装_LOL:无限火力仅剩4天,这5个英雄一定要尝试!
- 【Python基础】Python字典详解-超级完整版
- 如何测试WEB应用程序防止SQL注入***
- 天津全国计算机等级考试报名时间2020,天津2020年计算机等级考试报名时间汇总...
- 数学公式的规约(reduce)和简化(simplify)
- Redis分布式锁方案
- 如何写好一篇技术型文档?
- linux的if语句并且命令,linux命令:if语句练习
- OJ 2309 Problem C 	Lemon
- openwrt nas_树莓派安装 OpenWrt 打造超级路由器
- 滤波算法、中值和均值滤波区别
- python与机器学习
- 如何查看自己的ubuntu系统版本
- PADS画2.54mm排针
- vue项目部署服务器两个域名,Vue项目服务器部署之子目录部署方法_飛雲_前端开发者...
- 爬取彼岸图网4k图片
- CASS11解决细等线字体样式显示为问号
- html-什么是重排和重绘?如何减少影响的范围