关键点检测—

######《Unsupervised Discovery of Object Landmarks as Structural Representations》

CVPR2018，Yuting Zhang et al。

本文使用无监督的方式来发现结构表现的目标关键点。
网络结构：

采用的是名为 hourglass 的网络构架，以图片作为输出，该网络输出 k+1 个 channel，含有 k 个 landmark 和背景。对不同 landmark 用 softmax 生成 confidence。

在如图公式中，Dk(u,v) 意思是第 k channel 中坐标为 (u,v) 的值，Dk 是 weight map，与对应坐标相乘，再除以总的权重和坐标乘积的和，从而生成该 channel 的 landmark 的 normalized 坐标。
soft constrain：
为了保证我们生成的诸landmark及其坐标是表达的我们想要的landmark而非其他latent representations，文章提出了几个soft constrain。

1，concentration constrain：

计算两个坐标轴上坐标的方差，设计如图示loss是为了使方差尽可能小

这里做了一个近似，使之转换成了Gau dis，更低的熵值意味着peak处更多的分布，换句话说，就是使landmark尽可能地突出出来。

2，separation constrain：

由于刚刚开始训练时候的输入是纯random distribution，故可能导致提取出的landmark聚集在中心，可能会导致separation效果不好，因此而落入local optima，故设计了该loss。
这个loss也不难理解，将不同channel间的坐标做差值，使得不同landmark尽可能不重叠。

3，Equivariance constraint：
这个比较好理解，就是某一个landmard在另一个image中变换坐标时应该仍能够很好地定位，在这里，作者介绍了他们实现landmark变换坐标的几个trick。

4，Cross-object correspondence：

本文模型认为不能保证同一object在不同情况检测时绝对的correspondence，文章认为这应该主要依赖于该特定pattern能够在网络生成的激活值展现一定的共性。

Local latent descriptors
这个des的目的是解决一个delimma：除了我们定义的landmark，可能还有一些latent representation，要复原一个image，仅仅landmarks是绝对不够的，所以需要一些其他的信息作为一个补充，但表达他们又有可能影响landmark的表达。

在这里，文章又用了另一个hourglass network，如图中左下角的F，就在我们之前提到的concentration costrain中，用一个高斯分布来将该channel对应的landmark突出出来，在这里，文章将他当做soft mask来用，用mask提取后再用一个linear operator来讲这些feature map映射到一个更低维的空间，至此，local latent descriptor就被生成了。

Landmark-based decoder

第一步，raw score map

第二步，normalize

第三步，生成最终图像
在这里，wk是landmark-specific operator。
简言之，Dk是我们提出的landmark位置信息，fk是对应landmark的descriptor。
这里又提到了一个dilemma：在用mask的时候，越多的pixel被纳入是最理想的，但纳入太多又使得边缘的锐利不能体现，因为该文用了多个不同的超参数来尝试。
但是无监督的关键点学习是有用的，同人类的感知类似，潜在的发现对象的结构。

训练结果：

如同所示，自动的可以发现在语义上有意义的和固定位置的关键点，例如额头中心，眼，眼眉，鼻子和嘴角等。

参考：https://zhuanlan.zhihu.com/p/35693735

注：博众家之所长，集群英之荟萃。

关键点检测——无监督相关推荐

表现SOTA！DetCo算法：目标检测无监督对比学习
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:Sophia知乎 https://zhuanlan.zhihu.com/p/393398507 AI博士笔记系 ...
异常检测——无监督、高斯分布模型，需要带标记的样本数据，基本假设：特征符合高斯分布...
给定数据集 x(1),x(2),..,x(m),我们假使数据集是正常的,我们希望知道新的数据 xtest 是不是异常的,即这个测试数据不属于该组数据的几率如何.我们所构建的模型应该能根据该测试数据 ...
关键点检测方法、人体姿态估计
综述类人体骨骼关键点检测综述 2019深度学习人体姿态估计指南人体骨骼关键点检测(姿态估计)综述2019 深度学习人体姿态估计:2014-2020全面调研论文链接:https://arxiv.o ...
对抗样本无法被重建！CMU提出通用的无监督对抗攻击检测方法
作者 | Ben Dickson 编译 | 琰琰机器学习在应用程序中的广泛使用,引起了人们对潜在安全威胁的关注.对抗性攻击( adversarial attacks)是一种常见且难以察觉的威胁手段, ...
何恺明最新一作论文：无监督胜有监督，迁移学习无压力，刷新7项检测分割任务...
鱼羊发自凹非寺量子位报道 | 公众号 QbitAI 何恺明的一作论文,又刷新了7项分割检测任务. 这一次,涉及的是无监督表征学习.这一方法广泛应用在NLP领域,但尚未在计算机视觉中引起注意. ...
DeepMind提出新型神经网络架构，用无监督方法从视频中提取关键点 | 论文
铜灵发自凹非寺量子位出品 | 公众号 QbitAI 提取关键点此前被视为需要大量数据才能完成的工作,但DeepMind的一项最新研究可不这么认为. DeepMind的新模型Transporte ...
kaggle信用卡欺诈看异常检测算法——无监督的方法包括：基于统计的技术，如BACON *离群检测多变量异常值检测基于聚类的技术；监督方法：神经网络 SVM 逻辑回归...
使用google翻译自:https://software.seek.intel.com/dealing-with-outliers 数据分析中的一项具有挑战性但非常重要的任务是处理异常值.我们通常将异 ...
使用GAN进行异常检测——可以进行网络流量的自学习哇，哥哥，人家是半监督，无监督的话，还是要VAE，SAE。...
实验了效果,下面的还是图像的异常检测居多. https://github.com/LeeDoYup/AnoGAN https://github.com/tkwoo/anogan-keras 看了下,本 ...
无监督算法与异常检测
一.整体概览反欺诈往往看做是二分类问题,但是仔细想想是多分类问题,因为每种不同类型的欺诈都当做是一种单独的类型.欺诈除了多样并且不断变化,欺诈检测还面临一下问题: 1). 由于大部分情况数据是没有标 ...
异常检测时间序列_时间序列的无监督异常检测
异常检测时间序列 To understand the normal behaviour of any flow on time axis and detect anomaly situations i ...

关键点检测——无监督

注：博众家之所长，集群英之荟萃。

关键点检测——无监督相关推荐

最新文章

热门文章