光束平差法BundleAdjustment

一、光束平差法定义

光束平差法是结合三维模型点和视觉参数（相机参数，位置，畸变）做为一个整体进行一起评估的一个提高精度的方法。（这篇论文主要是讲到如何利用光束平差法提高重建精度，他给的定义也是说到bundle adjustment是一种提高精度的方法）原文：Bundle adjustment is the problem of refining a visual reconstruction to produce jointly optimal 3D structure and viewing parameter (camera pose and/or calibration) estimates.

二、投影模型

模型函数应该包含以下参数：
1. 3维点坐标 Xp,p=1…n, n :三维点个数
2. 相机位置和内部参数 Pi，i=1….m, m：相片张数
3. 其他标定参数，Cc，c：相机个数
光束平差法只给出了投影模型应该满足什么条件，没有限制具体的投影模型的方程。在百度文库上介绍了一种模型：https://wenku.baidu.com/view/812f86ef0975f46527d3e1bb.html

三、误差模型

目标方程：

n个三维点在m个相片中
xij ：第i个点在第j张图片上的投影坐标
aj ：第j个相机的参数
bi ：第i个点的参数
Q : 投影模型方程

我们最终的目标就是上式。利用误差模型对上式的结果进行分析，去除大误差点
多点拟合问题，可以用最大似然误差求解误差模型参数。最后得到的平均对数似然。一般来说，没有什么限制的自由点误差模型应该符合高斯模型，但是对于我们的求解，高斯模型对对数不够敏感，用柯西误差模型可以更好的剔除大误差点。

四、最小二乘法求解

这一部分可以先去看下线性以及非线性求解：http://cs2.swfc.edu.cn/~zyl/?p=875
根据我们的投影模型可以求出雅可比矩阵J，以及海森矩阵H，利用levenberg Marquardt的方法求解
可以参考http://blog.csdn.net/jinshengtao/article/details/53365061，写的挺详细的。
https://cseweb.ucsd.edu/classes/fa04/cse252c/manmohan1.pdf这里面还讲到了用单应矩阵做投影模型的

五、代码实现

最新版的matlab里面有现成的算法，可以直接在帮助里面搜索bundleAdjustment（直接在控制台输入：help bundleAdjustment），我用的版本是Matlab 2016b是没有问题的。2014b是没有这个方法的。
参考文献：Triggs B, McLauchlan P F, Hartley R I, et al. Bundle adjustment—a modern synthesis[C]//International workshop on vision algorithms. Springer Berlin Heidelberg, 1999: 298-372.
PS：本人调研三维重建部分已有1个月了，表示光束平差法挺难理解的，尤其是后面的求解部分，之前没有搜到详细的资料，只好去看英文论文，最后参考文献有70多页。现在也是只有些许了解。以上给出了我学习过程中感觉帮助很大的资料。不合理的地方欢迎指正