【算法思考】三维视觉常见问题

1. 标准相机有多少个参数？

相机的畸变分为径向畸变和切向畸变；

其中径向畸变主要是因为镜头不是绝对的小孔成像模型，因此光线在远离透镜中心的地方偏折会很大；

径向畸变的矫正公式(以图像中心为0，0）

$\begin{align*} & x_{distort} = x (1 + k1 * r^2 + k2 * r^4 + k3 * r^6)\\ & y_{distort} = y (1 + k1 * r^2 + k2 * r^4 + k3 * r^6) \end{algin*}$

切向畸变的主要原因成像平面和镜头不平行引起的，因此这部分也需要矫正。

切向畸变的矫正公式(以图像中心为0，0）

$\begin{align*} & x_{distort} = x + [2p_1y + p_2(r^2 + 2x^2)] \\ & y_{distort} = y + [2p_2x + p_1(r^2 + 2y^2)] \end{align*}$

记忆：

$a + 2p_{a}b + p_{b}(r^2 + 2a^2)$

因此一共有5个畸变参数 p1, p2, k1, k2, k3；在Opencv中的排列（k1, k2, p1, p2, k3)

相机内参有4个参数，fx, fy, u0, v0；其中注意fx，fy表示的意思是f的长度是多少个横向或者纵向像素。

2. 相机有那些畸变？

4. 切向畸变/径向畸变有那些参数？

3. 相机是如何去畸变的？

根据径向畸变和切向畸变的公式；我们可以得到组合两种畸变的

$\begin{align*} &\Delta x = x (k_1r^2 + k_2r^4 + k_3r^6) + 2p_1xy + p_2(r^2 + 2x^2) \\ &\Delta y = y (k_1r^2 + k_2r^4 + k_3r^6) + 2p_2xy + p_1(r^2 + 2y^2) \end{align*}$

以上公式只是对畸变的近似。

4. 相机的逆畸变是如何计算的，有闭式解（解析解）吗？

相机的逆畸变是没有闭式解的，因此如果要求解精确解，只能通过迭代的方法。

5. 求解PnP有那些方法？EPnP是如何求解的？

第一种是DLT解法，直接求解线性方程组；

这里一对3D-2D的点对，可以得到两个线性方程；

考虑到R|T矩阵一共有12个问题，因此6个点对就可求解出来旋转矩阵和平移向量；

DLT解法本质还是解线性方程组； $A\boldsymbol{t} = \boldsymbol{0}$ ;

因此可以考虑使用SVD分解，求解最小奇异值（方阵特征值）对应的特征向量作为解；

当然其实考虑到 [R|T] 的自由度，少于6个点也可以求解，如P3P，P4P解法等，这里不做详细讨论。

第二种是EPnP解法：

EPnP的解法非常巧妙，同时误差也比较小；

EPnP引入了控制点的概念，对于世界坐标系n个3维点，EPnP选出4个世界坐标系控制点，来采用线性加权的方式将这些点都用控制点表达出来；通常为了保证精度和鲁棒性，这四个点都选择所有点的质心，主成分所在方向的三个点；

因在相机坐标系和世界坐标系这些线性加权关系都保持一致，因此就可以先在相机坐标系求解出这四个控制点在相机坐标系下的坐标；

得到这四个控制点在相机坐标系下的表示，就可以和世界坐标系下的控制点做ICP，就转化成了ICP问题，因此可以很方便求解。

EPnP的好处，有几点，一个是只需要求解4个控制点，因此矩阵计算的规模得到了控制，效率非常高。另外EPnP数据稳定性比较高，求解精度优于DLT；

第三种解法是BA (Boundle Adjustment)：

这种方法是计算重投影误差，然后根据重投影误差迭代求解姿态；

6. 什么是BA？BA是如何求解的？

7. BA的稀疏性？

8. 如何求解单应矩阵？单应矩阵有几个自由度？

9. 如何求解三角化的点？

10. ORB SLAM有那些提升？

11. 词袋模型的功能？

12. 词袋模型在特征点匹配上有什么作用?

13. ORB如何解决光照/尺度/旋转变化？

14. Ax = 0 的解的物理意义？

15. 光流法如何实现的？

光流法假设：

a. 亮度恒定不变。

b. 时间连续，或者运动是小运动。

16. BA是用什么优化方法优化的？

参考文献：

(17条消息) SLAM_视觉SLAM面试题及答案汇总_惊鸿一博的博客-CSDN博客_slam面试题

(17条消息) SLAM算法面试常见问题总结_程序猴儿的博客-CSDN博客_slam算法面试

(17条消息) 视觉SLAM常见面试题（上）_lark_ying的博客-CSDN博客

【算法思考】三维视觉常见问题相关推荐

北京内推 | 京东AI研究院计算机视觉实验室招聘三维视觉算法研究型实习生
合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 京东 AI 研究院京东 AI 研究院(https://air.jd.co ...
字节跳动招聘【三维视觉】算法实习生
关注公众号,获取更多AI领域发展机会岗位要求 - 计算机.电子.自动化等相关专业 - 了解三维视觉基础理论,在VSLAM/VIO.SfM.视觉定位.三维重建.姿态估计.3D deep learnin ...
旷视SLAM组负责人刘骁：三维视觉与机器人
点击我爱计算机视觉标星,更快获取CVML新技术大家好,我是旷视研究院SLAM组负责人刘骁,很高兴能和大家分享机器人领域一些有关三维视觉技术的思考. 这次分享的主题集中在SLAM与三维重建两方面,大纲 ...
经验分享丨如何准备三维视觉、SLAM相关职位的面试
找工作这件事总是格外牵动我们的神经.哪家大厂开始招人了,哪位同学拿到了超高薪,哪位同学被拒了...总是能毫无悬念地成为朋友圈的热门话题,再高冷的大神都会忍不住点开.阅读. 秋招马上就到了,我们邀请了一 ...
三维视觉惯性SLAM的有效Schmidt-EKF
三维视觉惯性SLAM的有效Schmidt-EKF An Efﬁcient Schmidt-EKF for 3D Visual-Inertial SLAM 论文地址: http://openaccess ...
揭秘三维视觉之结构光原理
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达知乎作者David LEE 本文的目的就是对结构光(Structu ...
第一届中国三维视觉大会China3DV论文展示
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 " 6月11日至13日,第一届中国三维视觉大会(China3DV 2021)在厦门召开.大会 ...
CVPR 2021|三维视觉相关论文汇总
作者丨Tom Hardy@知乎来源丨https://zhuanlan.zhihu.com/p/355149511 编辑丨3D视觉工坊 1.GDR-Net: Geometry-Guided Direc ...
MATLAB实战系列（六）-基于蚁群算法的三维路径规划算法思路浅析
首先以一个问题为例引入今天所讲的三维路径规划,在21 km * 21 km的一片海域中搜索从起点到终点,并且避开所有障碍物的路径.起点坐标为(1,10,800),终点坐标为(21,8,1200),示意 ...

【算法思考】三维视觉常见问题

【算法思考】三维视觉常见问题相关推荐

最新文章

热门文章