MPASNET:用于视频场景中无监督深度人群分割的运动先验感知SIAMESE网络
点击上方“小白学视觉”,选择加"星标"或“置顶”
重磅干货,第一时间送达
小白导读
论文是学术研究的精华和未来发展的明灯。小白决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容。个人能力有限,理解难免出现偏差,建议对文章内容感兴趣的读者,一定要下载原文,了解具体内容。
摘要
人群分割是拥挤场景分析的基础任务,获取精细的像素级分割图是人们非常希望实现的。然而,这仍然是一个具有挑战性的问题,因为现有的方法要么需要密集的像素级注释来训练深度学习模型,要么仅仅从光学或粒子流与物理模型生成粗略的分割地图。在本文中,作者提出了运动先验感知Siamese网络(MPASNET)用于无监督人群语义分割。这个模型不仅消除了注释的需要,而且产生了高质量的分割图。特别地,作者首先分析帧间的相干运动模式,然后对集合粒子采用圆形区域合并策略生成伪标记。此外,作者为MPASNET配备了siamese分支,用于增强不变正则化和siamese特征聚合。在基准数据集上的实验表明,作者的模型在mIoU方面的性能优于目前最先进的模型12%以上。
MPASNET与以往方法的比较
论文创新点
据作者所知,这项工作是第一个专注于人群分割的基于无监督深度学习的模型。作者的贡献总结如下:
作者重新讨论了基于运动相似度的方法,并提出了以集体运动粒子为中心的掩模圆形区域合并来产生近似的标注用于深度人群分割。
作者设计了一个端到端的暹罗网络和相关的损耗函数来学习自生成的伪标签。
作者在两个有代表性的数据集上评估了作者的无监督方法,显著优于最先进的方法。
框架结构
提出的MPASNET结构。(a)以增广图像为输入的暹罗分支。(b)暹罗特征聚合。(c)运动引导圆形区域合并的伪标记。(d)分割头。
实验结果
与最新方法的定性比较。(一)原始帧。(b) CM[4]提取的运动粒子。(c) CrowdRL的分割结果。(d) CM合成的圆形区域合并伪标签。(e) MPASNET分割结果。(f)地面真理。作者的方法比其他方法有了明显的改进。
在IoU方面与最新方法的定量比较。MPASNET*表示没有siamese分支的训练MPASNET(即没有augmented - invariant regularization and siamese feature aggregation)。
每个成分的影响。AIR:增广不变正则化。SFA:Siamese特性聚合。Dice:Dice损失。CE:交叉熵损失。
结论
在本文中,作者提出了用于无监督深度人群语义分割的MPASNET。与现有的方法不同,作者的模型利用运动先验生成伪标签,无需人工操作,从而学习在缺乏地面真相的情况下生成高质量分割地图。实验表明,与最先进的无监督方法相比,作者的框架取得了实质性的改进。
论文链接:https://arxiv.org/pdf/2101.08609.pdf
- END -
下载1:OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2:Python视觉实战项目31讲
在「小白学视觉」公众号后台回复:Python视觉实战项目31讲,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。
下载3:OpenCV实战项目20讲
在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~
MPASNET:用于视频场景中无监督深度人群分割的运动先验感知SIAMESE网络相关推荐
- 用于光流估计的无监督深度学习DSTFlow
用于光流估计的无监督深度学习DSTFlow 原文链接 摘要 最近的工作表明,光流估计可以被表述为一个监督学习问题. 此外,卷积网络已成功应用于此任务. 然而,监督流学习由于缺乏标记的训练数据而变得 ...
- 深圳大学梁臻博士提出EEGFuseNet高维脑电图混合无监督深度特征表征与融合模型及其在情绪识别中的应用...
近期,深圳大学医学部生物医学工程学院梁臻博士(张治国教授团队MIND LAB核心成员)提出一种实用的基于无监督学习的卷积循环混合生成对抗网络,用以实现有效的脑电特征表征与融合,简称为EEGFuseNe ...
- CVPR2019:无监督深度追踪
本文提出了一种无监督的视觉跟踪方法.与使用大量带注释数据进行监督学习的现有方法不同,本文的CNN模型是在无监督的大规模无标签视频上进行训练的.动机是,强大的跟踪器在向前和向后预测中均应有效(即,跟踪器 ...
- 多模态人物识别技术及其在爱奇艺视频场景中的应用 | 公开课笔记
[12月公开课预告],入群直接获取报名地址 12月11日晚8点直播主题:人工智能消化道病理辅助诊断平台--从方法到落地 12月12日晚8点直播:利用容器技术打造AI公司技术中台 12月17日晚8点直播 ...
- 基于无监督深度学习的单目视觉的深度和自身运动轨迹估计的深度神经模型
本文是对文章<Unsupervised Learning of Depth and Ego-Motion from Video>的解读. Figure 1. 深度图和Ground-Trut ...
- TIP 2021 | 重访CV经典!首个无监督深度学习图像拼接框架
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 作者:廖康 | 已授权转载(源:知乎) https://zhuanlan.zhihu.com/p/386 ...
- 公开课 | 多模态人物识别技术及其在爱奇艺视频场景中的应用
在这期CSDN技术公开课Plus中,爱奇艺科学家路香菊博士为大家分享了多模态人物识别的相关技术,大家可以在公开课笔记中了解.学习到爱奇艺在多模态技术领域中的主要研究工作及在爱奇艺视频中是如何应用这些技 ...
- 深度学习的关键:无监督深度学习简介(附Python代码)
作者 | Faizan Shaikh 译者 | 马卓奇 编辑 | Vincent AI 前线导读:在这篇文章中,我们用一个直观的案例研究概述了无监督深度学习的概念.并且详解了在 MNIST 数据集上进 ...
- 用于稠密检索的无监督领域适应方法—Generative Pseudo Labeling (GPL)
©作者 | 刘璐 学校 | 北京邮电大学 研究方向 | 问题生成与QA 论文标题: GPL: Generative Pseudo Labeling for Unsupervised Domain Ad ...
最新文章
- php模拟超级课程表,一个功能完善、UI简洁的仿超级课程表的课表控件 TimetableView...
- 赛门铁克针对勒索软件WannaCry发布全球预警
- 使用mvn生成webapp失败,尚未找到原因
- 《Python Cookbook 3rd》笔记(1.1):拆分序列后赋值给多个变量
- “全息数字人”——健康医疗 大数据应用的新模式
- bat递归查找指定文件_批处理脚本遍历指定文件夹下的文件
- createjs入门
- 互联网时代的发展给实体业都造成了不小的冲击
- 机器学习Sklearn学习总结
- 游戏设计情境探秘之动画
- 21. Magento 创建新闻模块(2)
- Maven Jetty Plugin 配置指南(翻译)[转]
- python3的fft_FFT乘法Python 3.4.3
- 计算机一级b考试理论知识,计算机等级考试一级B基础知识精选考点串讲
- LaTeX的常用命令
- php 根据ip判断是否中国,PHP判断IP是中国IP还是外国IP
- word怎样删除向下的箭头“↓”
- 时间漩涡的世界 (一)
- 如何将企业微信好友设置为外部联系人
- android IO流_Android 开发技术周报 Issue#265