[1] Multi-Scale Fusion Subspace Clustering Using Similarity Constraint
[2] Non-Local Neural Networks with Grouped Bilinear Attentional Transforms
[3] Neural Networks Are More Productive Teachers Than Human Raters
[4] Search to Distill Pearls are Everywhere but not the Eyes
[5] iTAML An Incremental Task-Agnostic Meta-learning Approach
[6] Learning to Segment the Tail
总结

[1] Multi-Scale Fusion Subspace Clustering Using Similarity Constraint

baseline (NIPS2017)：亲和矩阵 -> 谱聚类。已有方法的亲和矩阵是计算得到（如余弦相似度、核方法），baseline中是学出来的（pre-train自编码器 + fine-tune，学习自表达矩阵）。
motivation：baseline只用到了deep encoder的深层信息，忽略了浅层信息。
method：使用自编码器的每一层学得一个自表达矩阵，再将它们融合。

[2] Non-Local Neural Networks with Grouped Bilinear Attentional Transforms

baseline (CVPR2018 Non-Local Neural Networks)：baseline中提出了一种block，用于捕获长范围依赖关系（扩大感受野）。
motivation：baseline的复杂度是N2N^2N2
作者提出：block应具有足够强的建模能力，并能够即插即用端到端。
contribution1：减少了参数量和复杂度
contribution2：通过bilinear达到了强大的建模能力。

[3] Neural Networks Are More Productive Teachers Than Human Raters

oral
motivation：减少query teacher model的次数（通过active learning解决）。
method：共分为三步，①. 构造侯选池；②. 选择不确定性最大的侯选池子集；③. 对黑盒的teacher model进行query。

[4] Search to Distill Pearls are Everywhere but not the Eyes

oral
motivation：对于每个student model，都应该存在与其对应的最好的teacher model architecture。
method：使用neural network search解决。

[5] iTAML An Incremental Task-Agnostic Meta-learning Approach

task：Incremental Learning，在不同的任务上进行增量学习。
task challenge：塑料性（不能“喜新厌旧”，学会了新任务，忘了老任务）、稳定性（学不会新任务）。
motivation：不同task上，用同一个model进行学习是很困难的。
method：提出一个通用的模型，快速适用于多个任务。本质是，对不同的task用不同的model。
challenge of this paper：①. task challenge ；②. 不指定task时，meta learning不好训练；③. 现有方法都是用固定的内存（显存），本文方法不可以。

[6] Learning to Segment the Tail

出自南洋理工张含望老师组
task：长尾分布
motivation：解决长尾分布。已有方法分为两类：采样 or 加权
长尾分布带来两个问题：①. 类别不平衡；②. few shot问题（尾部数据比较少）。
method：divide & conquer（分割、逐渐占领）。按频率从高到低对类别进行划分，先使用频率最高的第一部分进行训练，再使用第二部分进行finetune，finetune的过程在第一部分进行采样，使第一部分和第二部分平衡，以此类推。
本质：增量学习。
GAN的模式崩塌：生成器没有很好的约束，只会去拟合最容易拟合的部分，造成生成的结果都差不多。

总结

[1][2] 两篇文章都是基于baseline进行改进，都是用老方法解决老问题。
[3][4] 两篇文章都是对于Teacher-Student模型进行优化，听下来的感觉，两篇文章都是提出了领域中的一个新问题，没有其他学者研究过，文章的novelty属于最高层次，这应该是中oral的原因。
[5][6] 两篇都是poster，两篇文章都是在已有问题探索了新方法，达到了更好的效果，novelty属于第二层次。
novelty的层次划分：①. 最高层次：发现新问题；②. 第二层次：已有问题发现新解法；③. 第三层次：新的insight，有better understanding；④.最低层次：better results。
从目前我的理解来看，文章的novelty达到最高层次，基本就是顶会的oral。novelty达到第二层次，文章能够发表在顶会的poster。第三、第四两个层次都是前两个层次的辅助，如果文章的novelty只能达到后两个层次，很难中顶会顶刊。

2020-07-15 CVPR2020 表示学习论文讨论（4）笔记相关推荐

2020-07-01 CVPR2020 表示学习论文讨论（2）笔记
目录 [1] CVPR2020_A Unified Optimization Framework for Low-Rank Inducing Penaltie [2] CVPR2020_Automat ...
2020-07-08 CVPR2020 表示学习论文讨论（3）笔记
目录 [1] X-Linear Attention Networks for Image Captioning [2] Select to Better Learn Fast and Accurate ...
ICLR 2020 多智能体强化学习论文总结
ICLR 2020 多智能体强化学习论文总结如有错误,欢迎指正所引用内容链接 Multi-Agent RL 1.Multi-agent Reinforcement Learning For Net ...
2020.07 学习日记
废话寒假到现在,在家里玩了5个月,来学校又玩了大半个月.以为会做点东西了就什么都懂了,竟然没做准备就投了字节秋招提前批.结果被挂了之后,又被捞起来面试.可以说十分幸运了,但机会都是留给有准备的人 2 ...
（2013.01.18－2013.07.15）179天的学习小记
(2013.01.18-2013.07.15)179天的学习小记好久没有做个小小结咯,我的第一天学习小记是从2011.07.04开始,那时说好了在大学期间要每天记录,自我监督,就这样,这事也干了两年 ...
第十弹：网络公开课，免费学习资源，2020.07.05更新
第十弹:网络公开课,免费学习资源,2020.07.05更新按照个人兴趣整理的网络公开课资源导航网址:http://www.trochilidaetechnology.com/ 以下为[网络公开课]领 ...
专家票选！ 2020 年度 10 篇人工智能经典论文（1-5）
By 超神经内容提要:2020 年即将过去,虽然这一年全球都笼罩在疫情的阴影之下,许多事情也因疫情而停摆.但是,人工智能领域依然逆势而上,取得了许多重大突破.在岁末之际,一起看看今年有哪些研究值得关 ...
【强化学习论文合集】二十六.2020国际人工智能联合会议论文(IJCAI2020)
欢迎订阅本专栏:<强化学习论文合集> 专栏介绍: 本专栏整理了2017~2022年(后面会持续更新)强化学习领域国际顶级会议已录用的论文,会议包括但不限于:ICML.NeurIPS.AAA ...
【强化学习论文合集】二十七.2020机器人与自动化国际会议论文(ICRA2020)
欢迎订阅本专栏:<强化学习论文合集> 专栏介绍: 本专栏整理了2017~2022年(后面会持续更新)强化学习领域国际顶级会议已录用的论文,会议包括但不限于:ICML.NeurIPS.AAA ...

2020-07-15 CVPR2020 表示学习论文讨论（4）笔记

目录

[1] Multi-Scale Fusion Subspace Clustering Using Similarity Constraint

[2] Non-Local Neural Networks with Grouped Bilinear Attentional Transforms

[3] Neural Networks Are More Productive Teachers Than Human Raters

[4] Search to Distill Pearls are Everywhere but not the Eyes

[5] iTAML An Incremental Task-Agnostic Meta-learning Approach

[6] Learning to Segment the Tail

总结

2020-07-15 CVPR2020 表示学习论文讨论（4）笔记相关推荐

最新文章

热门文章

2020-07-15 CVPR2020 表示学习论文讨论（4） 笔记

目录

[1] Multi-Scale Fusion Subspace Clustering Using Similarity Constraint

[2] Non-Local Neural Networks with Grouped Bilinear Attentional Transforms

[3] Neural Networks Are More Productive Teachers Than Human Raters

[4] Search to Distill Pearls are Everywhere but not the Eyes

[5] iTAML An Incremental Task-Agnostic Meta-learning Approach

[6] Learning to Segment the Tail

总结

2020-07-15 CVPR2020 表示学习论文讨论（4） 笔记相关推荐

最新文章

热门文章

2020-07-15 CVPR2020 表示学习论文讨论（4）笔记

2020-07-15 CVPR2020 表示学习论文讨论（4）笔记相关推荐