arm+linux+分辨率无效,Arm NPU的超分辨率！

本博客由Alex Shang, Yabin Zheng, Mary Bennion和 Alex Avramenko撰写

背景

高分辨率已经在消费类电子行业中广泛普及，为消费者提供更好娱乐体验。家用电视可以达到4K分辨率，而高级电话现在有2K屏幕。但是，市面上仍然有很多内容保持着标准清晰度(480p)：电影，纪录片，电视新闻频道和社交媒体上的图片。

传统方法vs 基于AI的方法

传统上，设备使用插值方法来放大图像。当使用固定的公式为图像添加新像素时，对图像的原始内容了解并不多。这样会导致放大后的图像出现视觉伪像，损失清晰度或纹理细节。

随着人工智能的出现，使用深度学习的超分辨率图像可以在理解更多图像潜在特征的同时获得更好的美学效果。这种优势在4K和8K屏幕等更高分辨率中更为突出。

请看以下对比图：

图1：传统插值方法

图2：基于AI的超分辨率方法

在边缘部署超分辨率的问题

电视制造商一直在追求超分辨率，但是由于一些问题，实现超分辨率的可行性值得怀疑。首先，由于实现超分辨率所需的计算能力巨大，因此需要在大型服务器环境才能完成。你可能会听说“在边缘设备上实现4K超分辨率需要30 TOPS NPU”。确实，在独立式设备中应用超分辨率需要强大的芯片作为支撑。其次，人们对于需要多少内存带宽以及在边缘实现的可行性几乎一无所知。第三，成本是一个巨大的挑战。一些用例使用ASIC来实现AI超分辨率，这样可以提供在实时视频流上运行超分辨率的足够性能，但是这样的硅片会很大导致成本很高。

Arm与Imperial Vision Technology(IVT)合作在边缘实现超分辨率

IVT和Arm已合作优化了IVT的超分辨率算法，使其可以在Arm Ethos N77和N78 NPU上运行，从而达到市场上的最佳性能。

图3: Arm Ethos-N78

Arm和合作伙伴通过“ IP级别”的优化在合作中创造价值。不幸的是，在许多情况下，算法开发人员需要花费大量时间和工程周期来适应特定的芯片。每当硬件更换时，他们则需要重新投资大量时间来适应新的架构。解决此问题的最佳方法是在“ IP级别”研究算法。当算法开发人员使用Arm IP时，可以将先前的工作应用于任意Arm IP目标，这样可以从充分的灵活性中收益。从而大大减少了总体开发的时间和精力，使项目可以被更快地推向市场。

图4：基于AI的视频还原和增强流程图

在这次合作中，首先需要确保所有计算都在NPU上进行。否则，如果运算被分开操作而不是在CPU或GPU上运行会导致性能下降。其次，需要在NPU上实时运行超分辨率模型。这个步骤包括模型校正，模型调节，推理优化，数据压缩，数据流管理，数据I / O利用率和计算利用率。第三，我们通过在NPU上修改运算和模型来改善了超分辨率模型的视觉性能。由于SR模型在int8的NPU上运行，所以此步骤包括训练不同内容的大型数据库并补偿量化损失。最后，迭代使用前面的所有步骤来提高性能。

通过使用分析工具和开发板，我们达到了超分辨率的目标并以出色的VMAF分数达到了所需的性能。因此，Arm NPU可以支持从720p或1080p到4K的实时超分辨率。我们希望Arm与IVT之间的合作以及分析结果有助于为DTV，STB和移动SoC定义芯片组的规范。

如有任何疑问，请随时在arm.com联系alex.shang。

arm+linux+分辨率无效,Arm NPU的超分辨率！相关推荐

arm linux建站,arm服务器做虚拟机（arm平台虚拟机）
arm开发板用网络文件系统nfs连接到虚拟机上出现了如图的问题主机虚拟机. 检查下你的linux虚拟机得ip配置,nfs要求ip在一个段.在检查下linux虚拟机得nfs服务打开没有,开发板手册 ...
opengl arm linux,开源头条 | ARM v9架构发布
ARM v9架构发布 Arm昨日发布ARMv9架构,专注于高性能计算.机器学习.数字信号处理和安全性. ARMv9引入了Arm的Confidential Compute Architecture(C ...
arm linux cpu优化,ARM CPU与Intel x86 CPU性能比较
原标题:ARM CPU与Intel x86 CPU性能比较随着移动互联网时代的到来,Qualcomm(高通).Texas Instruments(德州仪器)等基于架构的受到越来越多人的关注,而昔 ...
嵌入式arm linux产品,基于ARM——Linux的嵌入式产品平台构建
摘要: 随着计算机技术的发展,嵌入式系统已成为计算机领域一个重要组成部分,并成为近年来新兴的研究热点.ARM7TDMI是一种高效,低功耗的RISC处理器,以该内核为核心的 LPC2210 是一款基于以 ...
arm linux php,在ARM Linux系统上面安装Apache+sqlite+PHP的详细讲解 - Apache - 数安时代(GDCA)SSL证书官网...
经过几天的努力终于在arm-linux平台上搭建了apache+sqlite+php平台. apche与sqlite网上有不少资料,而php for arm-linux很少.为了在arm平台上安装ph ...
【超分辨率图像重建】基于POCS超分辨率图像重建算法的MATLAB仿真
1.软件版本 matlab2013b. 2.本算法理论知识随着信息处理技术和视觉通信技术的高速发展,人们获取的知识量爆炸式增长,因此迫切的要求完善的信息处理技术为人们提供更加方便.快捷服务.数字图像 ...
超分辨率——基于SRGAN的图像超分辨率重建(Pytorch实现)
基于SRGAN的图像超分辨率重建本文偏新手项,因此只是作为定性学习使用,因此不涉及最后的定量评估环节目录基于SRGAN的图像超分辨率重建 1 简要介绍 2 代码实现 2.1 开发环境 2.2 主 ...
arm linux sms,基于arm处理器的手机短消息加密系统 encryption system for sms based on arm.pdf...
基于arm处理器的手机短消息加密系统 encryption system for sms based on arm 第 22卷第期电子测量与仪器学报 Vol.22 No.2 2 4 - - 20 ...
arm linux 加密锁,ET ARM 标准锁（包含网络锁功能）
ET ARM高端加密锁采用高强度32位ARM智能卡芯片,彻底杜绝硬件复制.通过最先进的锁内编程技术(C语言语法),同时锁内代码本地运行(即在智能卡芯片上直接执行,而非虚拟机内执行,锁内程序执行速度最快 ...

arm+linux+分辨率无效,Arm NPU的超分辨率！

arm+linux+分辨率无效,Arm NPU的超分辨率！相关推荐

最新文章

热门文章