论文阅读：Pointwise Convolutional Neural Networks

文章地址：https://arxiv.org/abs/1712.05245

github项目地址：https://github.com/scenenn/pointwise

Motivation：

1. 以VoxNet为代表的volumetric convolution虽然直观自然，但是由于有大量0体素值太耗费内存。

2.以PoinNet为代表的使用点云的方法，PointNet中的点云是无序的，训练过程中会学习一个对称的网络将有序的点云转变为order invariant（顺序不变性）贴图：

图一

Methods：Pointwise convolustion （3,4,5,6是一些trick）

1. 文章针对点云数据提出了一种新的逐点卷积的方法，如图二

图二

以图二中的红色点云为例，由于是逐点卷积，所以卷积核会将每一个点都作为中心，卷积核区域内的其他点云参与运算，在整个点云区域中滑动进行卷积运算。每个卷积核范围内的所有点云都有相同的权重。

卷积如公式（1）：k表示在卷积核所支持的sub-domain上进行迭代；$$\Omega_{i}(k)$$代表第k个sub-domain；$$p_{i}$$是第i个点的坐标；|.|代表sub-domain中点的个数卷积核的sub-domain的个数；$$\omega_{k}$$代表第k个sub-domain的权重；l-1和l是分别是第l-1层和第l层。

pointwise convolution和普通卷积十分相似，差别只是在于点云不规则，只能让卷积核有固定大小，对卷积核每个小方格内的点都和权重相乘可得出每个小方格的平均值，之后再把每个小方格的平均值想家得到该层输出。而普通卷积则是每个小格只有一个像素。

2.构建网络：定义了卷积之后就可以着手搭建网络了。如图三，坐标信息在每一层都会输入一次，经过4个卷积层之后，输出会被连起来在送去全连接层或是分割网络层。其中n表示点云个数，c代表属性（颜色，法线，坐标等），每个卷积层都是9个输出通道，9这个数字应该是对应了用到的点云的所有属性。

震惊的是文章中并没有清晰的说明网络具体结构，这个图画的也没有很明白，再看了代码之后会继续补充关于网络的部分。

图三

3.Point order：上文提到pointwise convolution和PointNet在对点云的有序性处理是不一样的，PointNet中点云是无序的，训练过程中通过对称的网络使点云具有顺序不变性。pointwise conv认为这一步并不是必要的，它的网络输入是按XYZ或Morton曲线有序排列的，点云的顺序仅仅影响分类，对于分割任务并没有多大的影响。

4.À-trous convolution：pointwise convolution也可以加入stride参数或者根据需要增大卷积核的尺寸，从而增大感受野。

5.为了便于卷积操作，作者分别存储了点云的坐标以及其他属性：颜色、法线、卷积过程中生成的高维特征。点云坐标可以被传送到网络的任意一层，这样有助于卷积时查找出范围内的所有点云。

6.Relevance to geometric deep learning:感觉和文章没什么关系

Evaluation：

1.语义分割：

a.数据集：S3DIS，13类室内场景物体；点云有9大属性：XYZ坐标，RGB三通道颜色信息，normalized 坐标；场景按每平方米被分成多个block，每个block采样成4096个点云作为网络的输入。

效果和PointNet相当

b.数据集：NYU v2，40类，76个场景，该数据集场景更加混乱，难度大；处理：a 2 × 2 sqm. window with stride 0.2 meter and height 2 meters is used to scan the floor area, resulting in approximately 30K scene blocks for training and 15K blocks for testing. Each block is sampled to 4096 points. ()

这一次没有和pointnet比较。