点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者：杨先生

链接：https://zhuanlan.zhihu.com/p/85417276

本文转载自知乎，作者已授权，未经许可请勿二次转载。

文章题目：Hierarchical Point-Edge Interaction Network for Point Cloud Semantic Segmentation

文章链接：https://arxiv.org/pdf/1909.10469.pdf

1、 文章出发点
encoder-decoder结构已经在2D 分割中应用很广了，该结构能够捕捉层次性的context，因此本文作者试图将其引入3D点云分割结构中。

2、文章怎么做的
论文的3D en-de结构见下图，核心思想其实与2D en-de一致。只是具体实现会有比较多的trick。

2.1 point decoder
我们先抛开下面的那个edge branch，图上方的point branch的encode结构基本继承至pointnet++，decode结构类似于2D，将encode各层的点云依次传入不同点云分辨率的decode模块。核心模块point module本质就是综合各种信息做各种MLP变换，具体见论文。

2.2 edge branch
我们也可以单独看这个edge branch, 简单的看就是不停的对边特征进行编码及上采样。那么编码是怎么进行的了，无非就是各种特征融合与MLP变换，例如，如下图所示，新边特征怎么来的了，根据两点的坐标差，两点的当前特征，做个MLP变换，然后结合旧边（上一层）特征，继续做个MLP变换。

如果该两点在上一层并不存在了，也就是没有旧边特征了，所以在edge encoder前涉及到边特征上采样，也是文章比较难看懂（主要是语言有点绕）的地方。

2.3 edge upsampling
edge up-sampling的目标就是给上采样后的 新边 添加特征，其具体原理总结为一句话就是。
利用（连接边的）两点在当前层的邻居，互为旧层邻居的边特征（通俗的讲就是，我的邻居和你的邻居，如果在上层互为邻居，那么上层这条边就是我要用来计算新边特征的一条），做个线性插值。
但是既然这两点在旧层不存在，哪里会有什么共同邻居了，其实这两点本来是存在的，只是被采样了，我们现在只是再次把他放回去找共同邻居而已，见下图。

文中比较难懂的地方

推荐阅读：

吐血整理|3D视觉系统化学习路线

那些精贵的3D视觉系统学习资源总结（附书籍、网址与视频教程）

超全的3D视觉数据集汇总

大盘点|6D姿态估计算法汇总(上)

大盘点|6D姿态估计算法汇总（下）

机器人抓取汇总|涉及目标检测、分割、姿态识别、抓取点检测、路径规划

汇总|3D点云目标检测算法

汇总|3D人脸重建算法

那些年，我们一起刷过的计算机视觉比赛

总结|深度学习实现缺陷检测

深度学习在3-D环境重建中的应用

汇总|医学图像分析领域论文

大盘点|OCR算法汇总

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会（ICRA/IROS/ROBIO/CVPR/ICCV/ECCV等）、顶刊（IJCV/TPAMI/TIP等）、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近1000+星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题