如何评价Kaiming He的Momentum Contrast for Unsupervised?
来源:https://www.zhihu.com/question/355779873/answer/893928396
编辑:深度学习与计算机视觉
声明:仅做学术分享,侵删
作者:林孟潇
https://www.zhihu.com/question/355779873/answer/893928396
一些不成熟的浅见:
主体提取 key/query feature 并选择合适的损失函数训练的模式算是 representation learning 中很常用的方法,在人脸等领域其实也在广泛使用,但是似乎很少看到在 key 和 query 上用不同 feature extractor 的,从论文看 momentum encoder 似乎至关重要。
选择 key/query pair 上用了林达华老师组的 《Unsupervised Feature Learning via Non-Parametric Instance Discrimination》 的想法,算是 instance discrimination 的进一步挖掘,或许这才是这篇论文的起点。
Shuffling BN 应该是个大坑,不懂多少实验砸进去才得到这个技巧。
性能提升上 Detection 同规模数据不是很明显,但是对 keypoints/densepose 提升显著,大概是因为 imagenet features 的分类能力对 detection 帮助很大,但是对其他任务不一定是最合适的。不过堆上工业级数据(Instagram)就可以超过Imagenet了。可能过几年回头看,这篇文章是真正开启 post-Imagenet 时代的工作。
何老师一直呼吁 representation 上有所突破,看了这篇才明白到底是什么,只能说何老师真的厉害。不过不止何老师,作者团队可以说是群星璀璨。
不过似乎这也预示着,视觉学术界连 unsupervised learning 都要打不过工业界了,不仅没数据没机器,这个论文的代码实现估计相当复杂,因为考虑多机多卡(64 GPUs)和各种tricks,一般学生估计没法轻松复现。
作者:Tong XIAO
https://www.zhihu.com/question/355779873/answer/894663297
下游的Person Search / ReID领域终于间接启发一下了上游的representation learning :D
一些小的想法:
momentum encoder确实很巧妙,让这个方法扩展到了大数据集
个人感觉loss里面的tau会是比较重要的超参,特别是网络初始化不好的话
reid里面结合softmax loss和triplet loss会有帮助,没准也能应用到representation learning
作者:打针
https://www.zhihu.com/question/355779873/answer/894580176
个人对表示学习不是很了解,不过最近一段时间在看一些半监督方面的工作,感觉很多地方还是很相似的
对于unlable的样本,如何将其加入网络巡练,这里是用了query-key的模式去train一个encoder
为了稳定性,选择用一个queue来记录,然后用momentum的机制去慢慢更新这个queue(感觉很像mean-teacher的moving average)
我是主做医学图像的,感觉这个工作用在医学影像分析的预训练上,潜力很大,毕竟这个领域的标注成本太高了,不同器官,甚至是同器官的不同任务之间的domain shift都非常严重,如果能把unlabel样本以及正常的无病灶样本都有效利用起来去pretrain,那是真的非常nb了
而且这个工作还可以和Vat等等半监督的工作结合起来,可能接下来一年很多东西的baseline都会有明显的提升了啊。
作者:tankche1
https://www.zhihu.com/question/355779873/answer/895112659
感觉就是【1】Unsupervised feature learning via non-parametric instance discrimination 这篇工作的拓展。【1】因为没有gpu(足够的)所以用memory bank 来存feature。这篇有gpu所以就不用存feature了直接每次都用key encoder。然后因为key encoder要比query encoder慢一点点同步(一样的话不好)所以加了个momentum。【1】每个batch(batchsize=n) 要forward n个image,这篇要forward(n+k)个。
作者:知乎用户
https://www.zhihu.com/question/355779873/answer/894687533
核心思想跟我们CVPR19的文章 [1] 非常类似,都是基于instance discrimination 来做unsupervised representation learning,同样类似的文章还有examplar CNN [2] 和 NCE [3], 但是kaiming大神用momentum的实在巧妙。简单介绍一下instance discrimination的发展史,下面是详细分析:
ExamplarCNN [2]: 早期用instance discrimination的思想来做无监督学习的,对每一个instance 学习一个classifier weight,效率比较低
NCE [3]: 引入 memory bank的去替代上面的classifier weights, 把前一个step 学习到的instance feature存储起来,然后在下一个step把这些存储的memory去学习,效率有所提升
Invariant and Spreading Instance Feature [1]: 我们在今年CVPR19 上提出了一种新的学习的方式,可以直接在instance feature level 上进行学习。我们直接用random data augmented instance feature做为“classifier weights”进行学习,并且采用了一个Siamese的network 去训练,这样两个网络的instance feature 可以实时的进行比较和学习。学习效率和准确性都有所提高,我们的文章也对上述两个方法的优缺点有详细的分析。相关代码也在github开源了。
Momentum Contrast: kaiming 大神用momentum的思想很好的弥补了我们方法的缺陷,从而使得模型在学习的过程中避免学习classifier weights 和memory bank,同时又保证可以handle大规模的数据!其中的shuffle batch normalization 应该也是进一步稳定这个training过程的一个很重要的trick。类似的做法也在deepCluster [4]论文里面每个epoch对classifier 重新做random initialization,两种做法应该有类似的效果,使得学习到的特征稳定性和泛化性都能有所提升
[1] Mang Ye, Xu Zhang, Pong C Yuen, and Shih-Fu Chang. Unsupervised embedding learning via invariant and spreading instance feature. In CVPR, 2019.
[2] Alexey Dosovitskiy, Philipp Fischer, Jost Tobias Springenberg, Martin Riedmiller, and Thomas Brox. Discriminative unsupervised feature learning with exemplar convolutional neural networks. In IEEE TPAMI, 2016.
[3] Zhirong Wu, Yuanjun Xiong, Stella Yu, and Dahua Lin. Unsupervised feature learning via non-parametric instance discrimination. In CVPR, 2018.
[4] Mathilde Caron, Piotr Bojanowski, Armand Joulin, and Matthijs Douze. Deep clustering for unsupervised learning of visual features. In ECCV, 2018.
不断更新资源
获取更多精彩
长按二维码扫码关注
如何评价Kaiming He的Momentum Contrast for Unsupervised?相关推荐
- MoCO ——Momentum Contrast for Unsupervised Visual Representation Learning
Title: Momentum Contrast for Unsupervised Visual Representation Learning 作者:Kaiming He Haoqi Fan Yux ...
- 无监督对比学习论文Momentum Contrast for Unsupervised Visual Representation Learning阅读
目录 MoCo论文:<Momentum Contrast for Unsupervised Visual Representation Learning> 基础概念了解 1.无监督.有监督 ...
- 对比学习系列论文MoCo v1(二):Momentum Contrast for Unsupervised Visual Representation Learning
0.Abstract 0.1逐句翻译 We present Momentum Contrast (MoCo) for unsupervised visual representation learni ...
- 重读经典:《Momentum Contrast for Unsupervised Visual Representation Learning》
MoCo 论文逐段精读[论文精读] 这次论文精读李沐博士继续邀请了亚马逊计算机视觉专家朱毅博士来精读 Momentum Contrast(MoCo),强烈推荐大家去看本次的论文精读视频.朱毅博士和上次 ...
- MOCO: Momentum Contrast for Unsupervised Visual Representation Learning
动机: Unsupervised representation learning is highly successful in natural language processing,but sup ...
- Momentum Contrast for Unsupervised Visual Representation Learning
Motivation 已有的利用contrastive learning做unsupervised visual representation learning要么受限于GPU不能使用大batch,要 ...
- 论文阅读:CVPR2020 | MoCo:Momentum Contrast for Unsupervised Visual Representation Learning
文章目录 前言 一.Introduction 二.Method Contrastive Learning as Dictionary Look-up Momentum Contrast Diction ...
- 无监督对比学习之MOCO 《Momentum Contrast for Unsupervised Visual Representation Learning》
无监督学习 如果可以建立一种通用的无监督模型,经过海量无标签数据的学习后,可以习得一个强大的特征提取器,在面对新的任务,尤其是医疗影像等小样本任务时,也能提取到较好的特征.这就是无监督学习的意义. 对 ...
- Moco -Momentum Contrast for Unsupervised Visual Representation Learning
首先这是一篇来自2020年cvpr的一篇文章,MoCo: CVPR 2020 最佳论文,完成了视觉 + 对比学习的里程碑式的工作.填补了 CV 领域的无监督学习和有监督学习的 gap . 作者是何凯明 ...
最新文章
- liunx php redis扩展,CentOS 7下安装php-redis扩展及简单使用
- 我的2019春招(前端暑期实习)记录
- 备份TB级别Oracle数据库的一些技巧
- 练习5.1更新——四则运算 测试与封装
- 快速准备电子设计大赛
- Python 爬取斗图啦图片
- 关于待机、休眠、睡眠的区别和优缺点
- python循环抓取图片_【Python系列】第2篇:批量下载图片
- POJ 2976 裸的01分数规划
- Ubuntu下编译vtk(java版本)【超详细-带过程截图】
- 菜鸟晋级篇!一篇文章读懂看门狗定时器!
- 吴恩达老师深度学习课程完整笔记
- 请尝试将 `lib` 编译器选项更改为 es2015 或更高版本
- @那些想要转行AI的人:送你一份人工智能入门指南
- 分解uber依赖注入库dig-使用篇
- 关系数据库范式及1NF、2NF、3NF和BCNF
- 软件经验|使用消费级无人机干测绘(一)影像数据获取
- 矩阵的Kronecker积的相关结论
- Ubuntu 网络管理
- 淘宝接口 TopAPi(转)
热门文章
- 学习 Vue中的Ajax 这一篇就够了
- 还不了解国际化视野与交叉学科思维?收下这份让你学业职业成长的秘籍!
- python中uniform(a、b)_Python stats.uniform方法代码示例
- 【医学+深度论文:F14】2018 Joint Optic Disc and Cup Segmentation Based on Multi Label Deep Network
- sona:Spark on Angel任务启动流程分析
- chosen用法及动态绑定值
- komodo edit 支持java么_Komodo Edit for Mac(多语言集成开发环境)
- 基于脉搏波的疾病诊断:准确率接近100%的未来前景?
- 金融科技的下半场:服务边界的“进化论”
- Freeswitch常见问题