现场影像增强中的硬件加速机制研究

【摘要】：随着处理器性能的不断提升,图像、影像中越来越多的信息被直观化地呈现给用户。然而,面对用户在直观化成像上越来越高的应用需求,信息的数据量庞大且需要实时处理。基于图像处理平台进行性能改进的方法往往难以达到直观化成像要求,实时性和系统带宽难以保证。图像处理平台多采用单摄像头单传感器模块对图像进行采集,且平台多采用同构处理器架构,配合主机完成后处理任务,其架构更多依赖于软件算法来完成用户应用需求的响应,主机运行的软件算法处理速度较慢,达不到直观化成像的实时性要求,比如立体视觉、虚拟现实、现实增强等应用就难以用图像处理平台来满足实时性需求。此外,高分辨率、高帧率的场景影像采集需要较高的前端总线带宽来完成影像数据的传输任务,基于图像处理平台的改进并不能达到影像处理的带宽需求。因此,图像处理平台的后处理思路无法满足直观化成像所带来的实时性、带宽需求,针对用户直观化应用要求,本文提出现场影像增强方法,该方法主要完成图像增强领域中直观化成像的实时性和带宽需求,对影像信息进行还原和增强处理,得到实时的现场影像增强处理结果。利用FPGA进行算法优化和硬件加速,可以解决直观化应用中的实时性瓶颈;利用定制化的现场高速总线接口 UPI(PCIe/SRIO复用接口)可以解决直观化应用中的带宽瓶颈。现场影像增强方法分为两个部分:首先,需要对影像现场信息进行还原,以保证信息获取范围的准确性。本文采用了高动态范围成像算法对场景信息进行还原处理,并对单相机成像、多相机成像和单镜头多传感器成像等方法进行了归纳总结,提出了一种能够实时处理的高动态范围视频算法。其次,需要对场景信息进行增强处理,本文梳理了几种影像增强方法及各自优缺点,精简了欧拉影像放大方法中的拉普拉斯金字塔构建方法,实现了 ⅡR滤波的流水线处理,提出了一种快速硬件实现的欧拉影像放大算法。本文针对现场影像增强方法的几个关键问题进行了研究,并给出了系统性的硬件加速方案。主要的研究工作和创新点:(1)归纳总结了当前高动态范围图像算法和视频算法的研究成果,提出了实时的高动态范围视频算法及硬件加速方法。首先,针对高动态范围成像算法,本文提出了一种改进的Ward权值函数选取方法,并利用三阶贝塞尔函数推导了相机响应曲线的拟合公式,可以在不需要精确知道曝光时间的情况下还原照度图:同时,本文提出了一种优化的全局色调映射算子,在不影响对比度的情况下降低了高亮区域的照度值,保证图像中不会出现饱和失真;此外,本文对高动态范围视频中的频闪问题提出了硬件解决方法,采用漏积分器模型对独立计算的每帧亮度参数进行处理,使得色调映射过程中各帧亮度参数相对统一。针对算法硬件加速过程遇到的存储密集问题,本文对相机响应曲线进行四叉树压缩编码,相比于直接存储相机响应曲线的方法,本文方法可以节省至少99.6%的BRAM资源;针对算法硬件加速过程遇到的计算密集问题,本文采用多项式逼近方法将复杂的指数和对数运算简化为移位和加法运算,同时利用乒乓缓冲区进行多路并行流水,结合FPGA内嵌的DSP slice资源,加快软件算法循环语句运算速度。相比于Lapray和Mann等人提出的FPGA硬件处理平台,本文处理相同分辨率的影像所需要的时间较短,在120MHz的系统时钟下,针对分辨率为1920×1080的19.58MB标准视频数据,可在15.3ms内完成一帧视频图像的输出。(2)梳理了当前运动放大算法的研究成果,对拉格朗日影像放大方法和欧拉影像放大方法的优缺点进行了分析,论证了拉格朗日放大方法不适合硬件实现的原因。提出了一种快速硬件实现的欧拉影像放大算法,该方法通过削减金字塔数量、固定放大因子,在不影响直观化显示效果的情况下,相比于利用Matlab软件在Intel(R)Xeon(R)处理器(3.3GHz)实现的软件算法,能够获得16.1倍的硬件加速比。(3)对前端总线的定制化方法和实时图像处理平台构建方法进行了总结和归纳,提出了以多个消息队列和影像增强引擎为核心的硬件加速方法。采用两片FPGA完成现场影像增强任务,基于功能级的任务切割方法对FPGA多任务进行调度,前端总线采用PCIe总线,FPGA芯片间互联通过SRIO总线完成。本文设计了一种灵活的FPGA高速串行总线接口UPI(Unified PHY Interface),并给出相应的API函数。该接口采用共PHY的物理层架构,利用同一高速串行收发器时分传输PCle协议包和SRIO协议包,完成前端帧数据的采集任务,提高了处理平台的灵活性和带宽需求。

【相似文献】

中国期刊全文数据库

前20条

1

杨赞;程东年;王保进;;一种硬件加速型融合防火墙包处理流程的设计与实现[J];计算机与现代化;2009年04期

2

丁浩;;数字信号处理系统的硬件加速设计[J];电子测量技术;2010年12期

4

天涯衰草;;都是浏览器硬件加速惹的祸[J];电脑迷;2013年12期

5

王国华;刘志强;马红光;马猛;;基于硬件加速的快速傅里叶变换[J];航空计算技术;2008年05期

6

韩鸿哲;毕学尧;;网络入侵检测硬件加速研究[J];信息安全与通信保密;2007年12期

7

万立夫;;开启硬件加速 体验完美高清电影[J];电脑迷;2014年05期

8

陈鹏;杨超;吴玲达;;硬件加速的三维雷达作用范围表现[J];国防科技大学学报;2007年06期

9

10

谭震威;郑旭生;罗继裕;;基于硬件加速的三维切割技术研究[J];科技资讯;2011年14期

11

肖梓航;桑胜田;肖新光;;反病毒引擎硬件加速技术研究[J];信息网络安全;2011年01期

12

赵海涛;张晓明;樊双丽;田卓;陈磊;;跨多种平台的OpenGL解决方案[J];测控技术;2012年08期

13

郑红;李俊;;基于行程累加的目标标记硬件加速算法[J];北京航空航天大学学报;2012年11期

14

15

张伟;徐涛;李志文;;面向内容安全硬件加速的主从协同处理模型[J];北京信息科技大学学报(自然科学版);2012年06期

16

笼儿;;QQ影音3.2 精彩影视生活轻松享受[J];网友世界;2011年Z2期

17

王哲;张晓林;刘荣科;王冬;赵广胜;;基于硬件加速的高精度实时图像处理系统设计[J];计算机测量与控制;2007年03期

18

陈鹏;魏迎梅;吴玲达;杨超;;硬件加速的雷达作用范围三维可视化研究与实现[J];计算机工程与科学;2008年04期

19

;2011年应关注的5项Web技术[J];计算机与网络;2011年Z1期

20

陈永康,赵英时;三维GIS场景绘制中的硬件加速[J];地理与地理信息科学;2003年05期

中国重要会议论文全文数据库

前2条

1

张纯;毛菁霞;张如鸿;孔伯虎;吴百锋;彭澄廉;陈泽文;孙晓光;;基于硬件加速的可视化算法[A];全国第16届计算机科学与技术应用(CACIS)学术会议论文集[C];2004年

2

陈为;夏佳志;张龙;于洋;郑文庭;彭群生;;一种统一的硬件加速自适应EWA Splatting算法[A];中国计算机图形学进展2008--第七届中国计算机图形学大会论文集[C];2008年

中国博士学位论文全文数据库

前3条

1

彭波;天文数据处理中硬件加速机制的关键技术研究[D];中国科学技术大学;2016年

2

吴安;现场影像增强中的硬件加速机制研究[D];中国科学技术大学;2017年

中国硕士学位论文全文数据库

前10条

2

张媛;基于GPU硬件加速的三维重建算法研究[D];河北工业大学;2015年

4

万鹏鹏;基于硬件加速对提高人脸侦测效率的研究[D];苏州大学;2015年

5

7

高肖肖;雷达稀疏信号处理算法的硬件加速设计[D];西安电子科技大学;2015年

8

李俊丰;图象匹配应用的硬件加速技术研究[D];国防科学技术大学;2006年

9

10

中国重要报纸全文数据库

前10条

1

山西 王强;被忽视的“硬件加速”[N];电脑报;2003年

2

李刚;硬件加速也惹祸[N];中国电脑教育报;2004年

3

4

辽宁 耿呈刚;关于PowerDVD硬件加速[N];电脑报;2004年

5

江苏 徐海涛;给屏捕软件增加录像功能[N];电脑报;2005年

6

记者　 邰举;“拉托娜”加速芯片有望下半年上市[N];科技日报;2007年

7

;“芯”有灵犀一点通[N];中国电脑教育报;2003年

8

;实现统一移动网络[N];网络世界;2008年

9

吴具佳;显卡加速不当影响视频播放[N];中国计算机报;2004年

10

本报记者 顾新杰;全面制胜nVIDIA Quadro FX[N];计算机世界;2003年