用线性插值算法实现图像缩放

猛禽[Mental Studio](个人专栏)(BLOG)

http://mental.mentsu.com

在Windows中做过图像方面程序的人应该都知道Windows的GDI有一个API函数:StretchBlt,对应在VCL中是TCanvas类的StretchDraw方法。它可以很简单地实现图像的缩放操作。但问题是它是用了速度最快,最简单但效果也是最差的“最近邻域法”,虽然在大多数情况下,它也够用了,但对于要求较高的情况就不行了。

不久前我做了一个小玩意儿(见《人个信息助理之我的相册》),用于管理我用DC拍的一堆照片,其中有一个插件提供了缩放功能,目前的版本就是用了StretchDraw,有时效果不能令人满意,我一直想加入两个更好的:线性插值法和三次样条法。经过研究发现三次样条法的计算量实在太大,不太实用,所以决定就只做线性插值法的版本了。

从数字图像处理的基本理论,我们可以知道:图像的变形变换就是源图像到目标图像的坐标变换。简单的想法就是把源图像的每个点坐标通过变形运算转为目标图像的相应点的新坐标,但是这样会导致一个问题就是目标点的坐标通常不会是整数,而且像放大操作会导致目标图像中没有被源图像的点映射到,这是所谓“向前映射”方法的缺点。所以一般都是采用“逆向映射”法。

但是逆向映射法同样会出现映射到源图像坐标时不是整数的问题。这里就需要“重采样滤波器”。这个术语看起来很专业,其实不过是因为它借用了电子信号处理中的惯用说法(在大多数情况下,它的功能类似于电子信号处理中的带通滤波器),理解起来也不复杂,就是如何确定这个非整数坐标处的点应该是什么颜色的问题。前面说到的三种方法:最近邻域法,线性插值法和三次样条法都是所谓的“重采样滤波器”。

所谓“最近邻域法”就是把这个非整数坐标作一个四舍五入,取最近的整数点坐标处的点的颜色。而“线性插值法”就是根据周围最接近的几个点(对于平面图像来说,共有四点)的颜色作线性插值计算(对于平面图像来说就是二维线性插值)来估计这点的颜色,在大多数情况下,它的准确度要高于最近邻域法,当然效果也要好得多,最明显的就是在放大时,图像边缘的锯齿比最近邻域法小非常多。当然它同时还带业个问题:就是图像会显得比较柔和。这个滤波器用专业术语来说(呵呵,卖弄一下偶的专业^_^)叫做:带阻性能好,但有带通损失,通带曲线的矩形系数不高。至于三次样条法我就不说了,复杂了一点,可自行参考数字图像处理方面的专业书籍,如本文的参考文献。

再来讨论一下坐标变换的算法。简单的空间变换可以用一个变换矩阵来表示:

[x’,y’,w’]=[u,v,w]*T

其中:x’,y’为目标图像坐标,u,v为源图像坐标,w,w’称为齐次坐标,通常设为1,T为一个3X3的变换矩阵。

这种表示方法虽然很数学化,但是用这种形式可以很方便地表示多种不同的变换,如平移,旋转,缩放等。对于缩放来说,相当于:

[Su  0  0 ]

[x, y, 1] = [u, v, 1] * | 0  Sv  0 |

[0   0  1 ]

其中Su,Sv分别是X轴方向和Y轴方向上的缩放率,大于1时放大,大于0小于1时缩小,小于0时反转。

矩阵是不是看上去比较晕?其实把上式按矩阵乘法展开就是:

{ x = u * Su

{ y = v * Sv

就这么简单。^_^

有了上面三个方面的准备,就可以开始编写代码实现了。思路很简单:首先用两重循环遍历目标图像的每个点坐标,通过上面的变换式(注意:因为是用逆向映射,相应的变换式应该是:u = x / Su 和v = y / Sv)取得源坐标。因为源坐标不是整数坐标,需要进行二维线性插值运算:

P = n*b*PA + n * ( 1 – b )*PB + ( 1 – n ) * b * PC + ( 1 – n ) * ( 1 – b ) * PD

其中:n为v(映射后相应点在源图像中的Y轴坐标,一般不是整数)下面最接近的行的Y轴坐标与v的差;同样b也类似,不过它是X轴坐标。PA-PD分别是(u,v)点周围最接近的四个(左上,右上,左下,右下)源图像点的颜色(用TCanvas的Pixels属性)。P为(u,v)点的插值颜色,即(x,y)点的近似颜色。

这段代码我就不写的,因为它的效率实在太低:要对目标图像的每一个点的RGB进行上面那一串复杂的浮点运算。所以一定要进行优化。对于VCL应用来说,有个比较简单的优化方法就是用TBitmap的ScanLine属性,按行进行处理,可以避免Pixels的像素级操作,对性能可以有很大的改善。这已经是算是用VCL进行图像处理的基本优化常识了。不过这个方法并不总是管用的,比如作图像旋转的时候,这时需要更多的技巧。

无论如何,浮点运算的开销都是比整数大很多的,这个也是一定要优化掉的。从上面可以看出,浮点数是在变换时引入的,而变换参数Su,Sv通常就是浮点数,所以就从它下手优化。一般来说,Su,Sv可以表示成分数的形式:

Su = ( double )Dw / Sw; Sv = ( double )Dh / Sh

其中Dw, Dh为目标图像的宽度和高度,Sw, Sh为源图像的宽度和高度(因为都是整数,为求得浮点结果,需要进行类型转换)。

将新的Su, Sv代入前面的变换公式和插值公式,可以导出新的插值公式:

因为:

b = 1 – x * Sw % Dw / ( double )Dw;  n = 1 – y * Sh % Dh / ( double )Dh

设:

B = Dw – x * Sw % Dw; N = Dh – y * Sh % Dh

则:

b = B / ( double )Dw; n = N / ( double )Dh

用整数的B,N代替浮点的b, n,转换插值公式:

P = ( B * N * ( PA – PB – PC + PD ) + Dw * N * PB + DH * B * PC + ( Dw * Dh – Dh * B – Dw * N ) * PD ) / ( double )( Dw * Dh )

这里最终结果P是浮点数,对其四舍五入即可得到结果。为完全消除浮点数,可以用这样的方法进行四舍五入:

P = ( B * N … * PD + Dw * Dh / 2 ) / ( Dw * Dh )

这样,P就直接是四舍五入后的整数值,全部的计算都是整数运算了。

简单优化后的代码如下:

int __fastcall TResizeDlg::Stretch_Linear(Graphics::TBitmap * aDest, Graphics::TBitmap * aSrc)

{

int sw = aSrc->Width - 1, sh = aSrc->Height - 1, dw = aDest->Width - 1, dh = aDest->Height - 1;

int B, N, x, y;

int nPixelSize = GetPixelSize( aDest->PixelFormat );

BYTE * pLinePrev, *pLineNext;

BYTE * pDest;

BYTE * pA, *pB, *pC, *pD;

for ( int i = 0; i <= dh; ++i )

{

pDest = ( BYTE * )aDest->ScanLine[i];

y = i * sh / dh;

N = dh - i * sh % dh;

pLinePrev = ( BYTE * )aSrc->ScanLine[y++];

pLineNext = ( N == dh ) ? pLinePrev : ( BYTE * )aSrc->ScanLine[y];

for ( int j = 0; j <= dw; ++j )

{

x = j * sw / dw * nPixelSize;

B = dw - j * sw % dw;

pA = pLinePrev + x;

pB = pA + nPixelSize;

pC = pLineNext + x;

pD = pC + nPixelSize;

if ( B == dw )

{

pB = pA;

pD = pC;

}

for ( int k = 0; k < nPixelSize; ++k )

*pDest++ = ( BYTE )( int )(

( B * N * ( *pA++ - *pB - *pC + *pD ) + dw * N * *pB++

+ dh * B * *pC++ + ( dw * dh - dh * B - dw * N ) * *pD++

+ dw * dh / 2 ) / ( dw * dh )

);

}

}

return 0;

}

应该说还是比较简洁的。因为宽度高度都是从0开始算,所以要减一,GetPixelSize是根据PixelFormat属性来判断每个像素有多少字节,此代码只支持24或32位色的情况(对于15或16位色需要按位拆开—因为不拆开的话会在计算中出现不期望的进位或借位,导致图像颜色混乱—处理较麻烦;对于8位及8位以下索引色需要查调色板,并且需要重索引,也很麻烦,所以都不支持;但8位灰度图像可以支持)。另外代码中加入一些在图像边缘时防止访问越界的代码。

通过比较,在PIII-733的机器上,目标图像小于1024x768的情况下,基本感觉不出速度比StretchDraw有明显的慢(用浮点时感觉比较明显)。效果也相当令人满意,不论是缩小还是放大,图像质量比StretchDraw方法有明显提高。

不过由于采用了整数运算,有一个问题必须加以重视,那就是溢出的问题:由于式中的分母是dw * dh,而结果应该是一个Byte即8位二进制数,有符号整数最大可表示31位二进制数,所以dw * dh的值不能超过23位二进制数,即按2:1的宽高比计算目标图像分辨率不能超过4096*2048。当然这个也是可以通过用无符号数(可以增加一位)及降低计算精度等方法来实现扩展的,有兴趣的朋友可以自己试试。

当然这段代码还远没有优化到极致,而且还有很多问题没有深入研究,比如抗混叠(anti-aliasing)等,有兴趣的朋友可以自行参考相关书籍研究,如果你有什么研究成果,非常欢迎你为我的程序编写插件实现。

用线性插值算法实现图像缩放相关推荐

  1. 视频图像处理基础知识0(双线性插值算法进行图像缩放)【转】

    转自:http://blog.csdn.net/times_poem/article/details/51395781 版权声明:本文为博主原创文章,未经博主允许不得转载. 目录(?)[-] 双线性插 ...

  2. 线性插值算法实现图像_C程序实现插值搜索算法

    线性插值算法实现图像 Problem: 问题: We are given an array arr[] with n elements and an element x to be searched ...

  3. 几个图像缩放算法的比较

    几个图像缩放算法的比较 前段时间由于项目的需求,需要实现图像的缩放功能,期间查找了不少关于图像缩放算法的资料,现把自己的心得整理一下. 由于研究生期间没有选修过图像处理方面的课程,所以对图像缩放的原理 ...

  4. DaVinci 项目设置:图像缩放调整

    项目设置/图像缩放调整 Project Settings/Image Scaling 图像缩放调整 Image Scaling选项卡可用于设置片段在输入.输出时的缩放及相应的插值算法. 图像缩放调整 ...

  5. 基于FPGA 的图像缩放算法设计

    介绍双线性插值算法来实现图像缩放,FPGA 硬件实现方法,包括图像数据缓冲单元.插值系数生成单元以及插值计算单元等. 图像是人类感知世界的视觉基础,是人类获取信息.表达信息的重要手段.现在研究较多的是 ...

  6. 图像缩放的双线性内插值算法的原理解析

    转自:http://blog.csdn.net/qiqi5521/article/details/2207562 图像的缩放很好理解,就是图像的放大和缩小.传统的绘画工具中,有一种叫做"放大 ...

  7. remosaic插值算法_图像插值算法及其实现

    sensor.codec.display device都是基于pixel的,高分辨率图像能呈现更多的detail,由于sensor制造和chip的限制,我们需要用到图像插值(scaler/resize ...

  8. 双线性插值实现图像缩放详解

    目录 双线性插值(Bilinear Interpolation) 线性插值 双线性插值 深入理解双线性插值 我的插值理解 代码 官方插值办法 源图像和目标图像几何中心的对齐 将浮点运算转换成整数运算 ...

  9. 图像缩放的艺术,揭秘图像放大且保持清晰度的技术

    麦客奥德彪的博客地址: https://juejin.cn/user/2365804752418232 图像缩放是数字图像处理中常用的技术之一.随着数字媒体的普及,图像缩放算法变得越来越重要.本文将探 ...

最新文章

  1. 稀疏性如何为AI推理增加难度
  2. 经典面试题:在这个场景下,你怎么进行性能调优?
  3. python爬百度翻译-Python爬取百度翻译(利用json提取数据)
  4. CentOS 6.8 GRUB加密-修复和破解密码实战指南
  5. 你有可能错过的东西:IIS7 ULR-Rewrite已经成为正式版本
  6. YBTOJ:前缀匹配(AC自动机)
  7. 使用RichTextBox控件实现系统剪切板功能
  8. c语言 二进制输出_收藏!C语言入门基础知识大全
  9. Android中动态的更改selector中某张图片的属性
  10. 运行yum时出现错误,缺失libsasl2.so.2文件
  11. 【Matplotlib】【Python】如何使用matplotlib自动保存图表
  12. jdi屏幕斜纹_荣耀V10屏幕有斜纹问题,有人甚至因此退货,真的这么严重?
  13. Windows Driver开发_安装与配置环境
  14. 皮尔森相关系数(Pearson correlation coefficient)
  15. 数据库实验八 触发器实验
  16. Photoshop定义画笔选区为空的原因
  17. Use ulog to monitor ports logs (by quqi99)
  18. 新墨斯智能鞋就是您的足底按摩师
  19. Qtxlsx操作Excel之使用
  20. 3D MAX入门篇(1)常用快捷命令及两种基础建模方式

热门文章

  1. C#多线程编程系列(五)- 浅析C# Dictionary实现原理
  2. 【转】C#执行rar,zip文件压缩的几种方法及我遇到的坑总结
  3. python settings模块导入不了_python settings 中通过字符串导入模块
  4. SuperSet连接Hive失败(客户端报日志拒绝连接)
  5. 算法 - KMP算法(字符串匹配)
  6. Python 数据分析三剑客之 Matplotlib(十):3D 图的绘制
  7. java万法_Java I/O库的设计分析
  8. 【牛客 - 157C】PH试纸(前缀和,或权值线段树,主席树)
  9. Apollo进阶课程⑪ | Apollo地图生产技术
  10. mysql group 条件_mysql 的group by 满足的规则要求: