360度全景拼接之成像模型与柱面投影

作者：青云，qq307942727

根据几何光学，理想透镜的程序模型如下图所示。物点P所成的像点P2可以用两条光线来求得。其中一条经物方焦点F到透镜P1点，然后光线平行于光轴方向沿着像空间转播。另一条经过透镜中心传播。这两条光线的焦点相交于P2点。如图1所示。

图1 理想透镜几何光学成像模型

事实上，P1与P2具有相同的2维坐标，唯一不同的是沿着光轴方向的坐标不同。因此，可以把成像面平移到透镜上，即连接物点与物方焦点的射线与透镜相交的点即为像点。于是成像模型可以简化成图2.

图2 简化的成像模型

图2中，P1与P分布在光轴的两侧，用数学表达时，物点坐标P与像点坐标P1符号相反。且成的像是反像。为了更清晰地分析，对图2模型进一步简化，让成像面绕物方焦点F旋转180度，得到图3右边的虚拟成像面。需要特别注意的是，图3右图中的O不是透镜的光心，而是投影的物方焦点F！即图3左图中的F。

图3 进一步简化的成像模型

有了图3的简化模型，就可以讨论相机拍摄全景图时如何旋转了。相机旋转是绕在O点（相机的镜头的物方焦点！）旋转的，否则远近不同的物体会出现不能同时对准的现象。下图中，左边的不是绕在物方焦点旋转拍摄的全景图（部分），右边是绕在物方焦点拍摄的全景图（部分）。左图中“这”字处出现的断裂，而右图中过度平缓。手机有拍摄全景图的功能，这就告诉摄影者，拍全景时不要让手机绕着人转，而是绕着物方焦点转！如果找不到物方焦点，绕着镜头转也是可以的，因为镜头离物方焦点很近。在拍摄近景全景图时，这尤为重要。

图4 不绕物方焦点与绕物方焦点旋转拍摄的全景图（部分）的差异

柱面投影示意图如下所示。原图上的X坐标将投影到X'。根据几何关系，可以推得原图上（x,y）坐标投影到（x‘，y’）的公式为：

上式中，f为：

上时中，W为图像宽度（像素），为水平视场角。

图5 柱面投影示意图

以下为柱面投影的结果及c++代码。理想情况下，绕物方焦点旋转的两幅有公共区域的图像，经过柱面投影后，两幅图像仅存在水平方向的平移。由于误差的关系，这只是近似成立。但在一般的拼接中，柱面投影后，只矫正水平与竖直方向的偏移就能够拼接得很好了。

/
// 功能：柱面投影
// *
// 输入： imgSrc 原始图像
// fov 原始图像水平视场角
// *
// 输出： imgDst 柱面投影图像

// *

// 说明：传入的imgDst最好是IplImage类型的空指针

void CProjection:: CylindricalProjection( IplImage * imgSrc, IplImage *& imgDst, double fov )
{
int i,j,k;
const int width = imgSrc->width;
const int widthStep = imgSrc->widthStep;
const int height = imgSrc->height;
const int channels = imgSrc->nChannels;

IplImage * imgTemp = cvCloneImage( imgSrc );

uchar * srcData = (uchar *)imgSrc->imageData;
uchar * tempData = (uchar *)imgTemp->imageData;

cvZero(imgTemp);

f = width / ( 2*tan( fov/2 ) );
double j1,i1,i2,j2;

//计算柱面投影后，两侧无效的宽度
int len = f * atan( ( 0 -width / 2 ) / f ) + width / 2;

for ( i=0; i<height; ++i )
{
for ( j=0; j<width; ++j )
{
i2 = i - height / 2;
j2 = j - width / 2;

//计算第二幅图（i，j）点在第一幅图中的位置（i1，j1）
j1 = ( f * tan( j2 / f ) );
i1 = ( i2 * ( sqrt( f*f + j2*j2 ) / f ) );
j1 += width / 2;
i1 += height / 2;

if ( i1<0 || i1+1>=height || j1<0 || j1+1>=width )
{
continue;
}

for ( k=0; k<channels; ++k )
{
//获取投影点上下左右四个像素的灰度
int gray_left_top, gray_right_top, gray_left_bot, gray_right_bot;
gray_left_top = srcData[ int(i1) * widthStep + int(j1) * channels + k ];
gray_right_top = srcData[ int(i1) * widthStep + int(j1+1) * channels + k ];
gray_left_bot = srcData[ int(i1+1) * widthStep + int(j1) * channels + k ];
gray_right_bot = srcData[ int(i1+1) * widthStep + int(j1+1) * channels + k ];

double dx = j1 - (int)j1;
double dy = i1 - (int)i1;

//最近邻插值
// tempData[ i * widthStep + j * channels + k ]
// = srcData[ int(i1) * widthStep + int(j1) * channels + k ];

//双线性插值
double grayTop = dx*gray_right_top + (1-dx)*gray_left_top;
double grayBot = dx*gray_right_bot + (1-dx)*gray_left_bot;
tempData[ i * widthStep + j * channels + k ]
= int( grayTop * (1-dy) + grayBot * dy );
}
}
}

if ( imgDst != NULL )
{
cvReleaseImage( &imgDst );
imgDst = NULL;
}
imgDst = cvCreateImage( cvSize( width - len * 2, height ), IPL_DEPTH_8U, channels );
cvSetImageROI( imgTemp, cvRect( len, 0, width - 2 * len, height ) );
cvCopyImage( imgTemp, imgDst );

cvResetImageROI( imgTemp );
cvReleaseImage( &imgTemp );
}

360度全景拼接之成像模型与柱面投影相关推荐

【Unity触控】实现缩放和360度观察模型、单击、双击、滑动
话不多说,先看实现效果! 想要更牛X一点可以和AR增强现实技术相结合,如下效果若想实现以上的AR增强现实效果可参考以下文章 (2条消息) EasyAR实战项目图像识别与模型交互(全网首发,保姆级教程 ...
3d模型 vv5_论SUV的自我修养，WEY VV5凭360度高清全景影像称霸同级！
凭借零房租.低成本等优势,地摊经济开启了全民的创业狂欢,不少人开始支起摊位,走上了创业之路,从前不屑一顾的摆摊秘笈在网上疯狂流转,众人纷纷效仿.但在漫漫创业路上,除了机遇,也会面临挑战,不是所有的创业 ...
全景图的种类、360度三维实拍全景
(转载地址:http://blog.sina.com.cn/s/blog_4b27c38d01019xlv.html 谢谢作者的分享) 根据全景外在表现形式可以分为柱形全景和球形全景两大类.柱形全景是 ...
Php 360度跟随图,一种360度全景图像无缝拼接的方法与流程
本发明涉及一种图像拼接方法,特别是一种360度全景图像无缝拼接的方法,本发明属于多传感器图像拼接技术领域. 背景技术: 图像拼接是将在同一场景下拍摄的多个图像拼接成具有宽视场的高分辨率图像的技术.图像 ...
鱼眼相机的成像模型与畸变校正
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨11号线人来源丨十一号组织 "800万像素","250m测距能力 ...
360度相机（全景图片）中的卷积（二）：SphereNet: Spherical Representations
360度相机(全景图片)中的卷积(一):Equirectangular Convolutions 360度相机(全景图片)中的卷积(二):SphereNet: Spherical Representa ...
CVPR2021最佳论文：当GAN遇到3D场景，无需监督就学会“动态抠图”、360度展示对象...
月石一发自凹非寺量子位报道 | 公众号 QbitAI GAN又又又有新玩法了! 人脸?NO,NO,NO~ 这回,开发者利用「3D+GAN」生成了汽车大片,还是能360度展示.随手换背景那种. ...
一种用于360度全景视频超分的单帧多帧联合网络
一种用于360度全景视频超分的单帧多帧联合网络论文.代码地址:在公众号「3D视觉工坊」,后台回复「全景视频超分」,即可直接下载. 摘要和简介球形视频,也称360度(全景)视频,它的捕获.存储和传输 ...
Facebook 360度音频编码与渲染
从360度视频到Oculus,通过Facebook 360音频编码与渲染都可实现身临其境的感受,并且使用的声道更少,小于0.5毫秒的渲染延迟.Facebook技术团队撰文对此进行了解读,LiveVid ...

360度全景拼接之成像模型与柱面投影

360度全景拼接之成像模型与柱面投影相关推荐

最新文章

热门文章