【机器视觉】工业传统视觉和3D视觉算法

1.传统视觉

近期准备开始写一些传统CV算法方面的学习心得，对于一个在cv方面工作了两年多的新人，了解一些传统的、偏数学的计算机视觉算法还是挺有必要的。虽然神经网络出现之后这些传统算法变得貌似不那么重要，但是缺乏理论的支撑很容易让人在学习新模型的时候产生困惑，个人认为学习视觉方面深度学习的基础还是要了解传统的视觉算法的一些操作。因此我希望，用尽可能简明的语言，记录一下我在CV传统算法学习上的所获所得。不乏其中有很大篇幅是网络上很多大牛的详细的知识详解文章，我也会摘录到本笔记中，与大家共同学习。本系列主要内容包括我自己不甚了解的cv方面的知识，未必囊括所有的基础知识，目录随着我的学习过程进行增加。

1. Harris 角点、 FAST角点、 小孔相机参数、 PNP(pespective-n-point)算法、 形态学分析、 边缘检测、斑点检测、 图像平滑去噪、 全景拼接、 SIFT算法上 | SIFT算法下、 SURF算法、 orb算法、 光流法基础、 张正友标定法、RANSAC、 标定板识别算法、 Shape-Based matching、 霍夫变换模板匹配、 识别直线、 背景提取、 物体跟踪、AR二维码检测与应用、 二维码、 双目重建相关、 图像频域分析、 图像增强和复原、 图片压缩、 人脸识别、 字符分割

2.3D视觉算法

3D视觉在消费娱乐方面以及工业视觉方面，几年来有着很大的进步。主要原因是由于近年来，3D视觉的传感器的价格达到了可以接受的水平。从2012年以来，各大公司都加重的对于3D视觉的重视，以及各大创投也加大了对于3D视觉行业初创公司的投资。比如2012年左右，微软收购了3D-TOF相机公司canesta和3dv；2013年，英特尔推出RealSense实感技术，谷歌推出ProjectTango项目，苹果收购结构光先驱PrimeSense；2015年索尼收购了3D视觉综合技术供应商SoftKinetic，Facebook旗下Oculus收购3D手势识别公司Pebbles，等等一系列。国内也出现了一系列的3D视觉传感器和应用公司，比如奥比中光、阿丘科技、埃尔森、小觅、海康威视、梅卡曼德等。

而实际落地也已经深入到各个行业，比如工业缺陷检测，工业零件抓取，消费级的大家肯定不陌生比如各大手机厂商的人脸解锁，增强现实，以及3D房产展示等，可谓3D视觉是视觉行业又一个新的发展点。本系列就整理一些常见的算法以及知识点，不一定是目前最先进的，但都是最基础的，希望和大家一起学习。

- 3D传感器成像原理（待整理） 常见点云文件解析 常用简单滤波器 网格简化综述 网格简化之QEM 网格简化之VSA 网格简化之顶点聚类网格生成方法简述 网格生成之Marching Cube 网格生成之TSDF 3D 关键点 3D 特征点描述子 ICP 配准方法RANSAC 配准方法 NDT配准方法 Point Pair Feature 点对匹配配准方法 点云近邻查找方法 点云分割 面生成算法面贴图算法 linemod算法 德劳内三角形**低层次处理方法：**
①滤波方法：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。
②关键点：ISS3D、Harris3D、NARF、SIFT3D
**中层次处理方法：**
①特征描述：法线和曲率的计算、特征值分析、SHOT、PFH、FPFH、3D Shape、Context、Spin Image
②分割与聚类：
分割：区域生长、Ransac线面提取、全局优化平面提取、K-Means、Normalize Cut(Context based)、3D Hough Transform(线、面提取)、连通分析
分类：基于点的分类、基于分割的分类、基于深度学习的分类（PointNet,OctNet）
高层次方法：
①配准：点云配准分为粗配准（Coarse Registration）和精配准（Fine Registration）两个阶段。
精配准的目的是在粗配准的基础上让点云之间的空间位置差别最小化。
粗配准是指在点云相对位姿完全位置的情况下对点云进行配准，可以为精配准提供良好的初始值。
基于穷举搜索的配准算法：遍历整个变换空间以选取使误差函数最小化的变换关系或者列举出使最多点对满足的变换关系。如RANSAC配准算法、四点一致配准算法（4-Point Congruent Set, 4PCS）、Super4PCS算法等...
基于特征匹配的配准算法：通过被测物体本身所具备的形态特征构建点云见的匹配对应，然后采用相关算法对变换关系进行估计。如基于点FPFH特征的SAC-IA、FGR等算法、基于点SHOT特征的AO算法以及基于线特征的ICL等...②SLAM图优化
Ceres（Google的最小二乘优化库，很强大）、g2o、LUM、ELCH、Toro、SPA
SLAM方法：ICP、MBIP、IDC、likehood Field、NDT③三维重建
泊松重建、Delaunay triangulations、表面重建、人体重建、建筑物重建、数目重建。
实时重建：重建植被或者农作物的4D（3D+时间）生长态势、人体姿势识别、表情识别；
④点云数据管理：点云压缩、点云索引（KD、 Octree）、点云LOD(金字塔)、海量点云渲染