【去噪】A Physics-Based Noise Formation Model for Extreme Low-Light Raw Denoising噪声建模详解
文章目录
- 0. 前言
- 1. 主要贡献
- 1.1 建立了一个全面的噪声模型,可以准确地描述低光环境下的真实噪声结构
- 1.2 提出了一种噪声参数标定方法
- 1.2.1 估计系统总体增益 KKK
- 1.2.2 估计颜色偏差噪声的μc\mu_cμc
- 1.2.3 估计行噪声的σr
- 1.2.4 估计读出噪声中的λ、σT L
- 1.2.5 建模联合参数分布
- 1.3 收集了一个极低光去噪数据集ELD
- 2. 参考
0. 前言
一句话总结:使用改论文提出的噪声生成模型合成数据所训练出的模型,其网络去噪能力可以媲美用大量配对数据训练的模型,避免费时费力地采集大量真实配对数据。
1. 主要贡献
1.1 建立了一个全面的噪声模型,可以准确地描述低光环境下的真实噪声结构
数字传感器原始图像D的创建通常可以用一个线性模型来表示:
式中,III为与场景辐照成比例的光电子数,KKK表示由模拟和数字增益组成的整体系统增益,NNN表示所有噪声源之和。
根据成像pipline,可以将成像过程分为三个阶段:
(1)光子到电子
在曝光过程中,入射光以光子形式击中光传感器像素区域,释放出与光强成正比的光电子。由于光的量子性质,所收集的电子的数量不可避免地存在不确定性,这种不确定性对电子数量施加了泊松分布。
在光子到电子阶段还引入了其他一些噪声源,如光响应不均匀性和暗电流噪声。由于CMOS传感器设计和制造的技术进步,如传感器上的暗电流抑制,导致新一代数字单反相机具有较低的暗电流和更好的光响应均匀性。因此,可以假设一个恒定的光响应,并将暗电流噪声NdN_dNd的影响划分到读出噪声NreadN_{read}Nread。
(2)电子到电压
① 读出噪声
当电子在光传感器的每个像素位置被收集到后,它们通常被整合、放大,并在曝光时间结束时读出为可测量的电荷或电压。在电子到电压阶段出现的噪声取决于所使用的电路设计和处理技术,因此被称为像素电路噪声,包括热噪声、复位噪声、源跟随器噪声和条带模式噪声。在模型中考虑了热噪声NtN_tNt、源跟随器噪声NsN_sNs和带型噪声NbN_bNb。为了简化分析,将暗电流噪声NdN_dNd、热噪声NtN_tNt和源跟随器噪声NsN_sNs统称为读出噪声;带型噪声NbN_bNb单独考虑。
读出噪声通常假设遵循高斯分布,但噪声数据的分析显示其形状的长尾性质。这可以归因于源跟随器噪声的闪烁和随机电报信号分量,或由暗电流引起的暗峰值。因此,使用一个可以更好地描述长尾形状的统计分布–Tukey-lambda分布来建模读出噪声。
其中,λ\lambdaλ 和 σTL\sigma_{TL}σTL分别表示形状和尺度参数。
② 颜色偏差读噪声
虽然零平均噪声假设在大多数情况下普遍适用,但在极低光设置下会失效,因为不可忽略的直流电噪声分量。这个分量来源于暗电流噪声,这使得噪声分布不再为零中心。虽然暗电流噪声已经被现代传感器暗电流抑制技术大大消除,但由于应用系统增益K来放大信号和噪声,剩余分量仍然有影响。评估显示直流噪声成分在不同颜色通道中是变化的,这种颜色不均匀的直流分量是导致在极低照度下经常观察到的颜色偏差现象的罪魁祸首。为了使噪声模型简单而紧凑,将直流噪声分量(即颜色偏差)建模为读取噪声模型的平均值:
③ 行噪声
Nb图像中可能在以水平或垂直线的形式出现,通过对偏置帧进行离散傅里叶变换,可以测试条带型噪声。中心化的傅里叶光谱中突出显示的垂直模式揭示了行噪声分量的存在。因此模型中只考虑行分量(水平条纹),列分量可以忽略不计。
对于每一行,通过从零均值高斯分布N(0,σr)中采样一个值来模拟Nr,然后将其作为偏移量添加到该行中的所有像素中。
(3)电压到数字信号
为了生成可以存储在数字存储介质中的图像,通过模数转换器将读出的模拟电压信号量化为数字信号值,在此过程中会引入量化误差。量化噪声Nq是模拟电压和数字值之间的舍入误差,假定其遵循均匀分布。
q为数字信号的位数。
1.2 提出了一种噪声参数标定方法
对于建立的噪声模型,需要标定的参数如下:
标定方法利用了在特殊设置下捕获的两种原始图像,即平场帧和偏置帧来估计噪声参数。平场帧是当传感器被均匀照明时所捕获的图像。将一张白纸固定在灯光均匀的墙上,相机被安装在靠近纸张的三脚架上,镜头聚焦在无穷远处以减少不均匀性。偏置帧是指在无光照环境下曝光时间最短的图像,在黑暗的房间中拍摄,并且要将相机的镜头盖上。
平场帧表征了与光相关的光子散粒噪声,因此可以用来估计相关参数K,而偏置帧表示不依赖于光的暗噪声图像,可以用来依次推导出其他噪声参数μc\mu_cμc、σr\sigma_rσr、λ\lambdaλ、σTL\sigma_{TL}σTL。
1.2.1 估计系统总体增益 KKK
根据以上推算,原始噪声图像的方差与真实信号值呈线性关系,通过最小二乘拟合一下,斜率即为系统总体增益K,真实信号KI使用平场帧的中值近似代替。
给定估计的K,我们可以首先将原始光电子信号D转换为光电子数I,然后对其施加泊松分布,最后将其恢复为泊松分布,从而模拟真实的光子发射噪声。
1.2.2 估计颜色偏差噪声的μc\mu_cμc
给定一个偏置帧,可以通过平均偏置帧的每个颜色通道内的所有像素值来检查直流噪声分量。如果噪声分布没有直流分量,为零中心,得到的颜色值应该几乎等于原始图像元数据中记录的黑电平(每个通道)。
作者发现这些值严重偏向于记录的黑色水平,这不能解释为由其他零平均噪声引起的随机波动,而是揭示了直流噪声分量的存在。下图展示了从多个偏差帧计算出的每个颜色通道的偏差µc的密度直方图。在颜色通道之间的直方图上有明显的差异,这表明在颜色通道上直流噪声分量的统计量不同。
基于这一观察结果,在建立的噪声模型中考虑到了颜色偏差噪声,这对于极低光去噪非常重要,因为由于信号和噪声的大数字增益(如×100),小的偏置可能在极低光中导致严重的颜色偏移。
为了排除直流噪声对其他噪声成分的影响,在估计其他噪声参数之前需要从偏置帧中减去每个颜色通道的平均值。
1.2.3 估计行噪声的σr
每个通道减去颜色偏差后,统计图像每一行的均值得到X;通过正态概率图和Shapiro-Wilk test检验其是否服从正态分布,若服从,通过最大化对数似然值估计出尺度参数sigma_r。
Shapiro-Wilk test:stats.shapiro,所得到的p值高于0.05,说明不能拒绝数据为正态分布的零假设。
正态概率图:stats.probplot
估计sigma_r:stats.norm.fit
1.2.4 估计读出噪声中的λ、σT L
先从偏置帧中减去颜色偏差,再去除估计的行噪声,得到data
通过lambda = scipy.stats.ppcc_max(data, dist=‘tukeylambda’)计算λ\lambdaλ参数
通过scipy.stats.ppcc_plot(raw_in, a=lambda/2, b=2*lambda, dist=‘tukeylambda’, plot=ax)绘制概率图相关系数图
Res = stats.probplot(raw_in, sparams=(lambda,), dist=‘tukeylambda’, fit=True, plot=None, rvalue=False),res[1][0]即σTL\sigma_{TL}σTL
1.2.5 建模联合参数分布
不同的ISO对应着不同的噪声参数,因此需要建立ISO与噪声参数之间的联系,以便在连续的ISO范围内以耦合的方式采样对应的噪声参数。由于系统的总体增益K与ISO基本是线性的比例关系,因此对K和其他噪声参数之间的数学关系进行建模即可。
建模流程为:
① 每个ISO下标定系统总体增益K,得到一个K序列;
② 分别对log(K)log(K)log(K)和log(σr)log(\sigma_r)log(σr)、log(σTL)log(\sigma_{TL})log(σTL)进行线性最小二乘回归得到ara_rar, brb_rbr, aTLa_{TL}aTL, bTLb_{TL}bTL,根据得到的线性方程计算模拟值和真实值的方差σ^r\hat{\sigma}_{r}σ^r和σ^TL\hat{\sigma}_{TL}σ^TL;再根据下图公式进行参数采样。
1.3 收集了一个极低光去噪数据集ELD
为了系统地研究所提出噪声模型的通用性,收集了一个极弱光数据集,包括10个室内场景和来自多个品牌的4个相机设备(SonyA7S2, NikonD850, CanonEOS70D,CanonEOS700D),用于基准测试。
摄像机安装在一个坚固的光学台上,由远程软件控制,以避免摄像机运动造成的失调,场景由自然或直流光源照明,以避免交流光的闪烁效果。数据采集步骤如下:
对于每个场景每个相机设备每个ISO gh:首先在基础ISO(gb=100)和曝光时间t设置下拍摄一个曝光良好的参考图像,然后在使用不同低光因子f降低曝光时间的设置下采集噪声图像,以模拟极端低光条件。然后拍摄另一张类似于第一张的参考图像,以确保没有发生意外错误(例如,剧烈的照明变化或意外的摄像机/场景运动)。
作者选择了三个ISO级别(800、1600和3200)和两个低光因子(100、200),总共得到240对(3×2×10×4)原始图像对。数据集的“伪”ISO高达640000(32000×200)。
2. 参考
Physics-based Noise Modeling for Extreme Low-light Photography
【去噪】A Physics-Based Noise Formation Model for Extreme Low-Light Raw Denoising噪声建模详解相关推荐
- A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising论文学习理解
A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising论文学习 Author: Kaixuan Wei Li ...
- A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising 论文阅读笔记
相机拍摄更亮的照片的三种方法:大光圈,长曝光,闪光灯:其中大光圈导致小景深并且无法在智能手机中使用:长曝光在动态场景或者由于相机的抖动会导致模糊:闪光灯导致变色,并且只对近景有效: 还有一种方法是bu ...
- 论文笔记7:Image Blind Denoising With Generative Adversarial Network Based Noise Modeling
Image Blind Denoising With Generative Adversarial Network Based Noise Modeling 引言 相关工作 基于GAN-CNN的盲去噪 ...
- ARNOR: Attention Regularization based Noise Reduction for Distant Supervision Relation Classificatio
ARNOR: Attention Regularization based Noise Reduction for Distant Supervision Relation Classificatio ...
- 论文精度笔记(五):《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
作者单位:港大, 同济大学, 字节AI Lab, UC伯克利 文章目录 论文以及源码获取 论文题目 参考文献 1. 研究背景 2. 贡献 3. 相关工作 3.1 DSConv 3.2 MBConv 3 ...
- 显著性检测论文解析2——Visual Saliency Detection Based on Bayesian Model, Yulin Xie, ICIP2011
最近感觉玩的差不多了,现在准备好好学习了,所以就又开始随便写点,就当是自己学习的笔记.这次要说的的是卢湖川的Visual Saliency Detection Based on Bayesian Mo ...
- 论文解读《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
论文:Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model 基于CNN的目标检测模 ...
- 计算机中的tnr是什么函数,Noise reduction in low light -TNR算法
Noise Reduction Filters for Dynamic lmage Sequences: A Review https://en.wikipedia.org/wiki/Image_no ...
- Diffusion Model (扩散生成模型)的基本原理详解(三)Stochastic Differential Equation(SDE)
本篇是<Diffusion Model (扩散生成模型)的基本原理详解(二)Score-Based Generative Modeling(SGM)>的续写,继续介绍有关diffusion ...
最新文章
- 智迪科技携手海通安恒,启动SAP实施项目
- MonoDroid相关资源
- (15)QuartusII 17.1开发流程(FPGA不积跬步101)
- 枚举数据库中所有表的列名(转)
- 随手记--计算机网络原理
- BackTrack5 下破解无线
- Paradise(天堂)勒索病毒解密工具
- 【PyQt5】串口数据实时绘图
- Mandriva Linux 2012 Alpha 2 发布
- 在Windows Server 2012中搭建WEB服务器,附ASP配置方法
- 从零开始 了解C++
- macos复制粘贴快捷键 快速_MacOS中复制和粘贴快捷键说明,及常见的各种快捷键整理大全...
- revit模型怎么在手机上看_revit手机浏览器有哪些?怎样在浏览器中展示自己的Revit模型?...
- html界面——button设置样式
- PL/SQL 创建定时任务
- Docker容器化技术笔记
- 常用插件:分享12款超级好用的 Chrome 插件
- css米奇,屹立48年不倒的IP,机械姬为什么能火这么多年?
- 【转】windows安装jira
- 跑得快算法分析(多叉树深度递归)