技术的真相 I 让手机夜拍也精彩的原理竟然是...
导语
智能手机、智能相机已经成为我们记录生活,留住美好瞬间的重要工具。但是每次在暗光环境中按下快门后,你是否担心照片满是像素点、“鬼影”重重、一片模糊?不过,你又是否发现,如今的手机夜拍已经做到即使暗光拍摄都能清晰可见。
其实,图像质量的变高,都离不开对相机ISP参数的调试,本期“技术的真相”将带你揭秘让夜拍越来越精彩的神奇技术背后的实现细节。
图像质量的主要评估维度
图像质量评估维度的划分方法有很多,但为了从直观和简洁的维度上看,主要是包含了4种基础的维度以及1种其他的维度。四种基础的维度主要是a.亮度和动态范围 b.色彩还原 c.噪声 d.清晰度;1种其他维度主要是包含畸变,Flare,ghost等方面。影响图像4种基础维度的因素也有很多,例如:亮度和动态范围会受到镜头、传感器、ISP、HDR算法等等的影响,其中镜头的光圈大小、ISP的曝光目标设定、ISP后处理的提亮模块,HDR的第三方算法,传感器的感光灵敏度等等均会影响图像的最终亮度和动态范围。
亮度、动态范围、清晰度相关的对比样张
亮度、清晰度相关的对比样张
亮度、动态范围、色彩相关的对比样张
ISP的主要基本模块
下图是一个简化版的ISP Pip-line的设计方案,可以做一个简单的示例参考,在实际ISP设计的时候会更加复杂。
一般在White balance之前还有Optical Black Level Calibration 、 Linearity Calibration、Lens Shading Calibration;在Denoise方面也包含单帧的SFNR和多帧的MFNR;
在Tone Reproduction设计模块中也包含gamma,local tone mapping,global tone mapping等对于亮度和动态范围的处理模块;
在Tone reproduction之后,一般会增加一个更高等级的降噪模块和锐化模块提升画面的锐利程度,增加一个Color post process模块处理局部色调喜好度。
ISP对于图像质量的影响
在影响图像的基础维度方面,其中大部分都会受到ISP相关的影响,如果将ISP对于图像质量的影响按照4个维度拆解来看的话,主要有如下的这些模块:
ISP对于亮度、动态范围的影响
ISP对于画面亮度的影响:
自动曝光,gamma,lens shading correction,以及dynamic range post process模块等。
AE对于画面亮度的影响:
自动曝光隶属于3A算法中的AE算法,其核心思路是基于给定的目标亮度(AE Target),不断调整图像传感器的shutter和gain的数值,从而使得画面的亮度接近于目标亮度。影响画面的全局亮度以及信噪比水平。
GAMMA对于画面亮度的影响:
相机Gamma曲线的设计初衷是为了让相机输出的图片在显示器上显示是在一个线性空间上,从而满足人眼对于自然界的图像感受。
Camera本身输出是在一个线性空间,但是显示器的显示特性是一个类似于反gamma的响应曲线,因此必须利用ISP给相机加一个gamma曲线,才会让最终图像的显示效果处在一个线性空间。
所以ISP对于Gamma曲线做局部调整之后,最后会影响到画面的亮度以及对比度。
Dynamic range post process对于画面动态范围的影响:
Dynamic range post process模块里面包含的是一些关于画面亮度调整的通用处理方法,比较常见的是局部色调映射,全局色调映射等方式提升单帧图像的亮度和对比度的效果;
LSC 对于画面亮度的影响:
lens shading correction主要用于补偿画面边缘的亮度接近于画面中心的亮度,使得整个画面的亮度均匀性得到提升。
ISP对于色彩的影响
对于图像的色彩调整方面,基准的流程包括LSC,AWB,CCM,Color post process,这几个模块。
AWB 对于画面色彩的影响:
Auto white balance,将图像分成若若干个子区域,每个子区域都是一个小方格,然后判定子方格中的R/G,B/G值是否在预先标定好的中性色区域之内,在有效的区间内为有效值。
根据每个色温区间统计点的数目计算权重,判定色温属性,求AWB Gain,还原中性色颜色色调。
CCM 对于画面色彩的影响:
CCM主要是色彩空间的转化,从传感器的色彩空间转换为人眼所习惯的色彩空间。因此改变CCM矩阵(3*3矩阵)的值,是可以完成各种颜色的调整以及饱和度的调整,缺点是相关联的色块均会受到一定影响。
Color post process 对于画面色彩的影响:
Color post process模块主要是会出现在一些高级的ISP,这些模块可以针对于特定颜色做倾向性的补偿,例如在HSV空间对于特定的颜色做偏移,让本身属于淡蓝色的天空变成深蓝色,红色的肤色调整为淡黄色的肤色等等。
ISP对于噪声的影响
对于画面噪声的影响主要是一些去噪模块,比较常见的方式是多帧降噪(MFNR)和单帧降噪(SFNR)。
对于多帧降噪来说,核心思想就是利用多帧叠加的方式去除画面的随机噪声,提升画面的信噪比;
对于单帧降噪来说可以利用频域、空域进行噪声去除。各家ISP的去噪名称存在差别,使用的方式差不多,只是具体方法存在差别,所以这里就简单介绍下即可。
常见噪声种类:
常见的噪声包括亮度噪声和彩色噪声,亮度噪声和彩色噪声可以通过ISP或者第三方算法进行有效去除。横条纹和竖条纹噪声多是跟传感器的供电或者本身缺陷导致,目前ISP端没有特别好的有效去除手段。
SFNR & MFNR 对于噪声影响:
MFNR和SFNR在调优时,需要注意对于细节的保留。同时在优化MFNR时,也需要关注其中间的对齐,配准,鬼影检测等模块是否存在异常的问题。
AI降噪 对于噪声影响:
AI降噪是近年来比较热门的功能,主要是利用CNN模型对于噪声进行去除,可以有效的在进行细节保留的同时进行噪声去除。在调优过程中需要注意减弱ISP相关的降噪性能,以免造成细节的丢失。
ISP对于清晰度的影响
对于画面清晰度的影响,主要是包含Edge enhance,AF,AE模块等,有些高级ISP还会包含EIS模块。EIS可以有效的去除因为人为抖动而产生的画面模糊以及拖影效果。
Edge enhancement对于画面清晰度的影响:
Edge enhance模块也是我们俗称的锐化模块主要是对于原有的细节和边缘进行增强,从感官上增强了清晰度,但是实际上并没有增加细节;
AF对焦原理:
其对焦理论基础是伟大的高斯大帝;硬件基础是马达推动镜头移动完成相距改变;算法基础是利用算法判定出对焦框之内的对焦值,然后采用爬坡算法完成对焦。
AF对于画面清晰度的影响:AF主要是让镜头处在合价焦的位置,使得对焦的主体清晰。
AE对于画面清晰度的影响:AE对于清晰度的影响主要是在一些极感光场景,使得画面可以呈现更多细节和更低的噪声。
展望未来
ISP对于图像质量的影响无疑是巨大的,影响着图像维度的方方面面。新一代的ISP的发展趋势也是会围绕用户关注的图像领域不断升级加强,通过不断的增加算力的提升而提升其AI能力、算法能力。
AI的技术突破,给ISP发展带来了源源不断的动力,例如在清晰度提升方面,有NN降噪网络,超分网络,AI demosaic网络等。在色彩调整方面,目前也有AI AWB的方案,AI风格迁移的发展方向。
另外,AI在传统的基础CV算法方面也有很大的提升,例如在光流对齐、三维重建方面、图像检测都有很好的效果,这些都是可以和传统ISP相结合的点,从而提升ISP的图像处理能力。
下图是一些NN网络的示例图:
参考文献
《Digital photography》
《Learning to See in the Dark》
《Learning Deep Convolutional Networks for Demosaicing》
https://zhuanlan.zhihu.com/p/64199820
点击“阅读原文”,投递简历加入旷视,一起探索“技术的真相”
实习简历请投至:ur@megvii.com
技术的真相 I 让手机夜拍也精彩的原理竟然是...相关推荐
- 潮美之夜见证“夜拍王”诞生,荣耀10 GT照亮三里屯
说到北京夜晚最繁华的地方,三里屯绝对数一数二,这里位于北京市朝阳区,因距内城三里而得名,现在因三里屯酒吧街而闻名,每到夜色阑珊,这里灯红酒绿,人流熙攘. 今晚,在三里屯的VPLUS LOUNGE酒吧也 ...
- 超长焦夜拍定格辉煌 华为Mate40系列清晰见证天舟二号成功发射
5月29日晚8点55分,已完成推进剂加注的天舟二号货运飞船(长征五号B遥二运载火箭)正式发射,它承载着重要物资与此前发射的天和核心舱进行对接,作为中国的第二个货运飞船,天舟二号的成功发射代表着我国的航 ...
- “夜拍王”荣耀10GT上线,不用三脚架也能出夜景大片!
想要拍摄好看的夜景,必须要专业的单反相机和三脚架,但是针对小白用户群根本不可能.只能用手机拍照,但是这需要好的手机硬件来支撑. 在暗光环境中,手机会自动测光,势必提高感光度或者延长曝光时间.前后受手机 ...
- 夜拍王荣耀10 VS同档位旗舰机夜拍功能,实战结果一目了然!
在我们的日常拍照中,越来越多的拍摄夜景,因为大家夜生活越来越丰富了,而且好多旅游目的地都是以夜景漂亮而著称.但是用手机拍摄夜景并不容易,主要是手持手机拍照导致镜头不稳定,比如按下快门时的手机晃动.或者 ...
- 软与硬的碰撞,打造出OPPO R17 Pro的强悍夜拍体验
作为准旗舰定位的时尚手机,OPPO R17 Pro上市后通过出色的能效表现与优秀的拍照体验,获得了极高的市场评价. 对目前的手机市场而言,消费者们从追求功能的丰富性转而开始追求极致体验,手机的拍照表现 ...
- 华为P30暗光+夜景拍摄体验:实力担当夜拍小王子
每当晚上使用手机拍照,我们大部分情况都会被照片中无处不在的噪点所"感动",本想着看是否能尝试多拍几次抢救一下,但绝大多数情况是依然不满意,拍一张删一张,最终彻底放弃使用手机进行夜拍 ...
- oppo reno2 z可以升级鸿蒙吗,OPPO Reno2 Z评测:除了潮流高颜值的外观,还有4800万夜拍四摄...
OPPO Reno2 Z评测:除了潮流高颜值的外观,还有4800万夜拍四摄 2019年10月25日 17:45作者:刘明鹏编辑:刘明鹏文章出处:泡泡网原创 分享 如果大家对OPPO Reno系列有所关 ...
- android是手机自拍,安卓6大摄影手机推荐,给喜欢自拍的你
原标题:安卓6大摄影手机推荐,给喜欢自拍的你 019年手机阵营简直神仙打架,各自厂商纷纷推出拍摄能力超好的手机作为卖点,接下来小卡为大家精心推荐2019年安卓拍摄能力最强的6款手机. 1⃣三星s10 ...
- 技术的真相 | 提高照片清晰度的黑魔法竟然是..
导语 影像已经成为我们记录生活的重要方式之一.那些难忘和美好的时刻通过照片被保留.然而有些回忆却因为画质的模糊不清,被蒙上了一层纱,或受限于当时的镜头缺陷,或是相机抖动导致,有什么办法可以解决这一难题 ...
最新文章
- 让织梦内容页arclist标签的当前文章标题加亮显示
- 老大让我优化数据库,我上来就分库分表,他过来就是一jio。。。
- 简述WinCE开发特性及忠告
- 基于tensorflow框架的神经网络结构处理mnist数据集
- java弱引用怎么手动释放,十分钟理解Java中的弱引用,十分钟java引用
- wordpress文章页饮用php文件,wordpress主题的文章和页面如何运行php代码?
- 怎样看oracle有没有监听,Oracle数据库学习_Windows系统查看Oracle数据库监听状态的方法...
- W5500EVB从网络上获取标准时间
- 一文搞定十大排序算法(细)
- 百度刷排名,刷流量,刷下拉软件【完全免费】胖虎图图-互动点击系统
- win10远程计算机管理,Win10专业版远程控制电脑有哪些方法?
- java服务器测速_服务器测速,php在线测速
- 2019.7.summary
- 南卡NANK Runner CC3 耳机评测:骨传导耳机入门级别最强款
- No converter found for return value of type错误解决以及消息转化器简单分析
- oracle会计软件技巧,财务软件输入凭证的五大技巧,太实用了!
- php输出二维函数,兼容php二维数组取值函数array_column使用
- 【外贸干货】开发信模板之售后客诉篇
- 【独家提供】cs1.5版CSOL人物 女性角色模型下载
- 计算机网络(第三版)胡亮 课后习题一答案