Imagination 的神经网络加速器和 Visidon 的去噪算法被证明是完美的搭档

Imagination 的神经网络加速器和 Visidon 的去噪算法被证明是完美的搭档
本文是总部位于芬兰的Visidon和总部位于英国的 Imagination合作的结果。Visidon 是公认的相机图像增强和分析算法专家，Imagination 拥有一系列世界一流的神经网络加速器(NNA)，每个内核的性能高达每秒 100 TOPS。
本文解决的问题是对来自传统彩色相机的图像进行去噪。解决方案分为两部分：
• 在不破坏图像细节的情况下去除噪声的算法。
• 一种高性能卷积引擎，能够运行经过训练的神经网络，该网络将彩色图像作为输入并输出去噪后的彩色图像。
Visidon 深度神经网络示例
图像去噪的过程有着悠久的历史。现代 CMOS 成像器的工作方式，可以被认为是一组光子计数器。光子以平均速率到达传感器：在波动相对较高的暗区较少，但在波动相对较低的较亮区域（即更好的信噪比）中更多。波动是由于光的物理学而产生的噪声（使用泊松统计），通常无法避免。但是，可以通过进一步处理去除噪声。关键是在不破坏图片内容的情况下做到这一点。
多年来，已经提出了许多解决方案。这些包括简单地稍微模糊图片、使用双边滤波器的复杂方法、基于流形理论的贝尔特拉米滤波器、尺度空间卡尔曼滤波器等。
关于去噪的有趣点首先是噪声在图像的平坦区域中最明显（对而言），而噪声在边缘附近不太明显（对而言）。然而，边缘最有可能被许多去噪算法以其他方式模糊或损坏。损坏的边缘在感知上与噪音一样糟糕！
Visidon 已经创建了一个卷积神经网络模型（相邻），完全实现了所需的目标——去除噪声并同时保留彩色图像中的边缘。
Imagination 的 Series4 多核 NNA 在执行 Visidon 的去噪网络时，提供高性能计算解决方案，同时在低功耗和小面积方面是同类产品中的佼佼者。
图 1 显示了一组示例结果。这项工作中使用的所有图像均为 4,096 x 3,072。这张图片在黑暗的夜间背景上有明亮的白色和蓝色灯光；原始图如图 1a 所示，每个像素 x100 的 RMS 误差如图 1b 所示。误差是在来自网络的浮点结果和通过将网络量化为 16 位，在 Imagination 的 NNA 上运行网络生成的结果之间得出的。
图 1（下图）显示了一个特别困难的图像——然而，任何 8 位颜色通道的最大差异是 +/-1。还展示了（图 1c）原始噪声图像的裁剪，d）来自浮点网络的输出，e）量化网络和 f）由 Visidon 的网络浮点实现提供的结果。无色彩失真，有效消除噪点，边缘完好无损。

图 1.“困难”图像示例。在查看的十张示例图像中，所有结果都遵循相似的模式。在图 2 所示的日光场景中，每个颜色通道的每个像素没有超过 +/- 1 的错误发生。此图像中的噪点不太明显，但选择了裁剪图来证明降噪不会在任何颜色的边缘产生伪影。

图 2. 没有边缘或颜色失真的日光场景
在下一张图片（图 3）中，展示了一张明亮的测试图表。同样，没有大于 +/- 1 的错误，并且详细的裁剪显示缺少边缘伪影，这是 Visidon 算法的一个特征。

图 3. Visidon 结果：明亮的测试图表。
最终的图像结果（图 4）显示了在低光下拍摄的测试图 - 另一个非常困难的图像。在这里，清楚地看到了噪声（泊松统计数据的信噪比随着平均水平的降低而变差）。在原始图像的细节中（图 6c），在较亮和较暗的区域，严重的颜色噪声都很明显。这是单独的红色、绿色和蓝色通道中不相关的波动产生随机颜色变化的结果（近似于三个维度的 Rician 统计）。
Visidon 的去噪算法消除了亮度（亮度）和色度（颜色）中的噪声，同时保留了边缘。值得注意的是，来自网络的浮点结果与来自网络的 16 位量化结果之间没有明显差异，而且这两个结果之间的最大差异在任何像素和任何颜色通道上都是 +/-1。

图 4. Visidon 结果：低光测试图表。

IMG Series4 多核
图 5. IMG 4NX-MC8 示意图
图 5 中的 IMG 4NX-MC8 具有先进的架构特性，并提供一系列多核版本。4NX-MC1 有一个单核，最高可达 12.5 TOPS（1 TOPS = 1 Tera 操作每秒）。
Imagination 的 4NX-MC1、4NX-MC4 和 4NX-MC6 内核的性能如下表 1 所示。

表 1. Imagination NNA 内核在使用 Imagination 标准工具链生成的 Visidon 降噪网络上的性能和配置
结论
总而言之，这是一个深度卷积神经网络的一个非常有趣的例子，从作为输入的图像中产生作为输出的图像。
在图像质量方面的表现非常出色，因为在处理高质量图像时去噪是一个难题。结果的保真度反映了 Visidon 算法的质量，特别是选择的网络架构和训练方式。还非常清楚地表明，量化网络（在这种情况下为 16 位）可以提供与浮点网络几乎相同的结果。
值得一提的是，确实研究了较低的位深度。大多数神经网络中的错误在 8 位执行时会增加一点。根据应用程序，错误的小幅增加可能是可以接受的。在高质量图像增强的背景下，人类观察者可以看到非常小的错误。8 位数据（激活）时平坦区域的条带很明显，8 位权重时颜色失真很明显。
使用 16 位数据和 16 位权重运行网络根本不会留下任何可见的伪影，并且输出图像中任何像素和颜色的差异都是 +/- 1。
通过运行 Visidon 的去噪网络，Imagination 的 NNA 的性能展示了其超越传统 AI 应用程序的能力及其在图像增强方面的适用性。

参考链接：
https://www.imaginationtech.com/blog/imaginations-neural-network-accelerator-and-visidons-denoising-algorithm-prove-to-be-perfect-partners/
删除线格式

Imagination 的神经网络加速器和 Visidon 的去噪算法被证明是完美的搭档相关推荐

Imagination Series3NX神经网络加速器助力展锐打造其新一代5G智能手机平台
优异的PPA特性和可扩展性支持SoC制造商实现领先AI功能英国伦敦和中国上海,2021年12月20日--Imagination Technologies宣布:领先的无晶圆厂半导体公司展锐(UNISO ...
600 TOPS超高算力，2～8核灵活配置！Imagination新发布神经网络加速器IP
芯东西(ID:aichip001)文 | 董温淑芯东西11月13日消息,就在昨天,Imagination Technologies发布了最新一代神经网络加速器IP核IMG Series4 NNA,并 ...
为什么说要重视神经网络加速器
自从以深度学习为代表的神经网络算法的精度大大提升以后,人工智能开始终于又再次火了起来,且有席卷全球之势.根据BBC预测,到2020年,人工智能总体市场将会高达1190亿元的规模,年平均复合增长率也将达 ...
基于pynq的数字识别神经网络加速器设计
文章目录基于pynq的数字识别神经网络加速器设计软件部分 1. 全连接神经网络: 2. 卷积神经网络搭建: 3. 文件格式转换: 硬件部分 1. MNIST的硬件实现思路 2. 代码编写与硬件综合 ...
nvdla学习笔记_神经网络加速器NVDLA顶层接口与工作流程
Nvidia的开源神经网络加速器NVDLA已经在GitHub上面存在两个多月的时间了,而距离软件Software Stack的开源也差不多提上了日程.近期,NVDLA的代码库中已经更新了System ...
揭开神经网络加速器的神秘面纱之DianNao
原文链接 1 前言 1.1 挖坑(写在前面的废话,可以直接忽略) 最近开始负责组里神经网络加速器IP的开发,暂时还是基于FPGA实现,因此阅读了一些经典的神经网络加速器实现的论文,包括基于ASIC的寒 ...
利用Vitis开发基于ZCU106的神经网络加速器（一）——Vitis概述及XRT编译
前言毕设要用到Xilinx家的ZCU106这块板子,了解到最近Xilinx统一了Vivado,XilinxSDK,并集成了常用开源IP核,推出了Vitis统一软件平台,使我们不再需要关注底层的Ver ...
【谢源评体系结构顶会 MICRO 2016】神经网络加速器仍是热点，但图计算加速器夺最佳论文（下载）...
MICRO(The 49th Annual IEEE/ACM International Symposium on Microarchitecture)是计算机体系结构领域的顶级会议,重点关注处理器体 ...
【文献阅读04】基于ReRAM的高能效可重配置神经网络加速器
标题:An Energy-efficient Inference Engine for a Configurable ReRAM-Based Neural Network Accelerator 时间 ...

Imagination 的神经网络加速器和 Visidon 的去噪算法被证明是完美的搭档

Imagination 的神经网络加速器和 Visidon 的去噪算法被证明是完美的搭档相关推荐

最新文章

热门文章