文章目录

1. 四个问题
2. 论文介绍
- Abstract
- I. INTRODUCTION
- II. RELATED WORK
- III. THE PROPOSED METHOD
- IV. EXPERIMENTS
- V. CONCLUSION
4. 收获

1. 四个问题

解决什么问题

无监督点云表征学习，基于对比学习
对比学习有两个问题：1. depend on customized strategies to mine and store negative samples（负样本选择）; 2. 不会学到 local structure

用了什么方法

我们的方法（对比学习）：instance-level（BYOL解决问题1） + point-level clustering（解决问题2）

效果如何

3个实验：Modelnet（92.4）， shapenetpart，S3DIS

还存在什么问题？

point-level clustering这个任务没看懂，是否可以用其它代理任务更换效果更好？

2. 论文介绍

Abstract

讲了3个方面：背景，方法，实验结果，以绿线分割

I. INTRODUCTION

第一段：讲3D point cloud的背景，有监督的缺点：需要大量标签。所以无监督应运而生。
第二段：无监督方法大体分成两种： generative or discriminative。

Generative方法：优点：学到 high-level and structural properties，缺点：输入是不变的，因此对rotation and translation敏感。
discriminative models方法：优点：数据增强，输入会改变，这种方法保留了输入语义，最近被证明可以为下游任务提供丰富的潜在表示
- 其中，以Contrastive methods又最好，但是缺点也有：1. 需要比较许多负样本，并且严重依赖于负样本的选择及其与正样本的配对[15]，[25]. 2. 此外，这些无监督学习方法大多采用全局池层来生成全局嵌入，这在一定程度上忽略了空间结构和局部信息[18]，[21]。
因此，提取高级语义信息并减少对对比学习负面样本的依赖是三维点云数据分析中的一个开放问题。

第三段（动机/方法/工作）：所以我们的方法来了：对比学习（不是说对比学习缺少局部和正负样本对选择吗？） + The point-level clustering（解决局部） + BYOL（不用选择负样本了）

因此，本文提出了一种无监督的三维点云表示学习方法来缓解这些问题。
Our framework consists of instance-level contrasting and point-level clustering, and it can be applied to any off-the-shelf（现成的） network architecture
The point-level clustering softly segments the 3D points of each point cloud into a discrete number of geometric partitions. The local features can then be learned by implementing an Expectation-Maximization [26] (EM) like algorithm.
- 对于局部几何，我们使用的观察结果是，人类不是通过点来理解3D场景，而是通过将其组合成感知组和结构，这些感知组和结构是识别的基本构建块[27]。
- 这一发现促使我们提出了一种端到端的软聚类方法，该方法模仿这一过程来提取有区别的局部语义信息
The instance-level contrasting directly maximizes the similarity of the two global features extracted from two augmentations of one point cloud for the global feature learning.
- （对比学习受BYOL和SimSiam 启发）Our instance-level contrasting, which is inspired by 2D image unsupervised approaches BYOL [15], and SimSiam [25] provides supervision to extract global geometry. The instance level contrasting excludes negative pairs in contrastive learning. ==It can be treated as a particular case of contrastive learning that only depends on the positive pairs ==

第四段：贡献总结：

II. RELATED WORK

A. Deep learning on 3D point clouds
B. Unsupervised representation learning on point clouds
- Generative models（对旋转敏感）
- discriminative methods （缺陷：1. depend on customized strategies to mine and store negative samples; 2. 不会学到 local structure）
我们的方法：instance-level（解决问题1） + point-level clustering（解决问题2）

III. THE PROPOSED METHOD

整体架构：
- Point-level clustering（没看懂…）
  - class probability prediction
  - label reassigning
Instance-level contrasting architecture

IV. EXPERIMENTS

在ModelNet40预训练，在ModelNet40 测试？？？

SHAPENETPART

3D SEMANTIC SEGMENTATION FINE-TUNED ON S3DIS

消融实验：

实验4：聚类类别数

实验5：BATCH SIZE

实验6：模块

V. CONCLUSION

4. 收获

动机：From the human perspective, both the global and local shape information play vital roles in 3D point cloud understanding.
工作：全局（对比学习， BYOL不用负样本） + 局部（point-level clustering ？）
结合了对比学习和聚类，刚好也是自己最近在看的。。。。

by jointly learning global (instance-level contrasting) and local (point-level clustering) shape information

基于对比方法有缺陷：1. depend on customized strategies to mine and store negative samples; 2. 不会学到 local structure
我们的方法（对比学习）：instance-level（BYOL解决问题1） + point-level clustering（解决问题2）
作者用对比学习，观察到两个缺点：1. 负样本的选择；2. 对比学习只有global feature
针对这两题问题解决：1. BYOL；2. point-level clustering？

实验做得挺少的，才3个：ModelNet， shapenetpart，S3DIS，说明自己也可以就做这几次实验…

主要对比方法：Jigsaw 3D[44]（还没看…）, OcCo[13], PointGLR[18]

本文提供的两个见解：
B. Unsupervised representation learning on point clouds

Generative models（对旋转敏感）
discriminative methods （缺陷：1. depend on customized strategies to mine and store negative samples; 2. 不会学到 local structure）

问题：如何在对比学习的框架下补充local 信息？（对比学习只能提供global信息）（问题找的不错）

本文是用点聚类？的方法补充local信息（这一部分还没看懂…）（有没有更好的local方法加进去？）（最主要的贡献就在这里了吧）（涉及EM算法？）
对比学习BYOL的框架，不用选择负样本（global信息）…

【2202.02543】ConClu：Unsupervised Learning on 3D Point Clouds by Clustering and Contrasting相关推荐

【点云系列】综述： Deep Learning for 3D Point Clouds: A Survey
文章目录起因题目摘要 1 简介 2 背景 2.1 数据集 2.2 衡量指标 3 3D形状分类 3.1基于多视角的方法 3.2基于体素的方法 3.3 基于点的方法 3.3.1逐点MLP网络 3.3 ...
【论文研读】Self-supervised、unsupervised learning （2020最新论文）
目录 Are Labels Necessary for Neural Architecture Search Self-supervised Learning: Generative or Contr ...
【阅读整理】An Accurate Skeleton ExtractionApproach From 3D Point Clouds of Maize Plants
原文: Frontiers | An Accurate Skeleton Extraction Approach From 3D Point Clouds of Maize Plants | Plan ...
【CVPR2020】【语义编辑】StyleRig：Rigging StyleGAN for 3D Control over Portrait Images
注:拉到最后有视频版哦~ 地址:https://gvv.mpi-inf.mpg.de/projects/StyleRig/ 这次给大家分享一篇 CVPR2020 的论文,是基于 StyleGAN 结合 ...
【论文翻译】点云深度学习综述 -- Deep Learning for 3D Point Clouds: A Survey
论文链接:Deep Learning for 3D Point Clouds: A Survey 文章目录摘要 1. 介绍 2. 三维形状分类 2.1 基于投影的网络 2.1.1 多视图表示 2.1 ...
Deep Learning for 3D Point Clouds: A Survey - 3D点云的深度学习：一项调查 (IEEE TPAMI 2020)
Deep Learning for 3D Point Clouds: A Survey - 3D点云的深度学习:一项调查(IEEE TPAMI 2020) 摘要 1. 引言 2. 背景 2.1 数据集 ...
【论文笔记】PassGAN: A Deep Learning Approach for Password Guessing
title: "[论文笔记]PassGAN: A Deep Learning Approach for Password Guessing" date: 2019-10-12 la ...
【自然语言处理】【ChatGPT系列】FLAN：微调语言模型是Zero-Shot学习器
FLAN: 微调语言模型是Zero-Shot学习器 <Finetuned Language Models are Zero-shot Learners> 论文地址:https://arxi ...
【论文阅读】Rethinking Spatiotemporal Feature Learning For Video Understanding
[论文阅读]Rethinking Spatiotemporal Feature Learning For Video Understanding 这是一篇google的论文,它和之前介绍的一篇face ...

【2202.02543】ConClu：Unsupervised Learning on 3D Point Clouds by Clustering and Contrasting