机器学习与计算机视觉（被忽视的isp图像处理）

目前国内大多数做adas或者无人驾驶的公司走的都是计算机图像方案，一方面是由于camera本身的低成本，另外一方面也是因为近期人工智能在图像领域的迅猛发展。但是，有一点很过公司都忽略的，他们过分关注与图像算法本身，而对图像质量、嵌入式优化这两个方面做的不是很到位。通常而言，这些公司都会拿一些成熟的测试视频进行开发，但是这些视频都是在别人已经调好的camera上录制的，而从市场上拿来的camera根本没有办法做到高质量的视频输出，这其中isp调优就是很重要的一块。

目前的camera一般由这几块组成，分别是镜头、sensor、isp。当然，如果是夜视设备，还会多一个IR LED灯。镜头英文叫lense，它负责多少nm的光可以透进来。sensor就是感光芯片，它负责将光变成二进制信息，一般是yuv格式的矩阵。最后就是isp，isp负责将raw data变成漂亮的图片，或者是后续算法认可的图片。目前isp主要是软件完成，isp一般会有一个51芯片来进行处理。那么，isp负责的工作有哪些，我们可以一一看过来。

1、自动曝光

一般拍照时，要求白天曝光弱一点，晚上曝光强一点。所以，自动曝光其实就是自动控制sensor的曝光时间。

2、自动对焦

拍远景的时候，会要求镜头和sensor远一点，而近景的时候要求镜头和sensor近一点。isp可以通过算法自动识别近景和远景。

3、自动白平衡

简而言之，主要要来解决色温问题，使得图像恢复成本来的颜色，不会出现偏黄、偏绿、偏蓝的问题。

4、镜头阴影矫正

由于镜头本身特性，会造成图像中间过亮、边缘过暗的问题，可以使用软件算法修正这一问题。

5、gamma校正

自然界的灰度变化和人对灰度的感知是不一样的，gamma校正就是解决这一问题。

6、WDR

所谓WDR，就是指宽动态范围，它解决图像中部分过曝、部分曝光不足的问题，比如靠近窗口、日光灯下的图片。

7、畸变校正

由于镜头的原因，图像会出现横向畸变和切向畸变。所以，使用特定软件算法可以解决畸变的问题。

8、色彩增强

主要是增加色彩饱和度。

9、锐化

通过特定的软件算法，让图像中的边缘、棱角更加的分明、显著。

10、去除噪声

利用软件滤波算法去除图像中的特定噪声。

11、图像的缩放

部分isp支持图像的缩放功能，比如支持不同的分辨率1920*1080、 1080*720、640*480等等。

12、图像旋转

根据客户的要求，部分isp也会支持旋转的要求，比如旋转90度、180度、270度等。

13、镜像处理

目前isp支持的镜像包括上下镜像、左右镜像。

14、控制曝光频率

曝光频率其实决定了图像的帧率。如果只是消费级别的camera，20帧左右就可以保证画面流畅。但是如果是汽车上面的算法，应该是帧率越高越好，只要cpu、dsp、controller、hw处理得过来，并且没有明显的功耗和散热问题，这就可以。

在实际开发的过程中，一个算法的调整很有可能会影响其他算法的调优工作，相互之间的关联性很大。并且，很多时候两个功能是没有办法同时获得的，比如亮度和噪声，如果只是单个摄像头，这个时候需要做的就是权衡和取舍。因此，现在的手机上面会出现了多个摄像头，比如说长焦、短焦、广角、黑白，这样可以同时兼顾近景、远景、白天、黑夜等多个拍摄场景。

机器学习与计算机视觉（被忽视的isp图像处理）相关推荐

资料网址大全（数学，深度学习，机器学习，计算机视觉，人脸识别，图像处理等）
数学: PCA详解:http://blog.codinglabs.org/articles/pca-tutorial.html (PCA降维通俗易懂讲解,推荐) 傅里叶级数和傅里叶变换通俗讲解:htt ...
【2022年博士招聘—鹏城联培】南方科技大学张建国教授团队2022年招聘计算机视觉、人工智能和医学图像处理方向博士
南方科技大学张建国教授团队2022年招聘计算机视觉.人工智能和医学图像处理方向博士张建国,2019年至今南方科技大学(国家双一流建设学校)计算机科学与工程系教授,博士生导师,曾任英国邓迪大学科学与 ...
《AI人工智能的未来》（Yanlz+VR云游戏+Unity+SteamVR+云技术+5G+AI+机器学习+人机交互+计算机视觉+生物特征识别+立钻哥哥+==）
<AI人工智能的未来> <AI人工智能的未来> 版本作者参与者完成日期备注 YanlzAI_Future_V01_1.0 严立钻 2020.01.09 ##<AI ...
机器学习和计算机视觉的前20个图像数据集
作者 | Meiryum Ali 翻译 | 火火酱,责编 | 晋兆雨出品 | AI科技大本营头图 | 付费下载于视觉中国计算机视觉使计算机能够理解图像和视频的内容.计算机视觉的目标是使人类视觉系 ...
机器学习和计算机视觉相关的数学
kinPark 2015-01-16 1:07:15 机器学习评论(1) MIT一牛人对数学在机器学习中的作用给的评述,写得很实际机器学习和计算机视觉都是很多种数学的交汇场.看着不同的理论体系的交 ...
机器学习和计算机视觉有关的数学
1.线性代数(Linear Algebra): 我想国内的大学生都会学过这门课程,但是,未必每一位老师都能贯彻它的精要.这门学科对于Learning是必备的基础,对它的透彻掌握是必不可少的.我在科大一 ...
Atitit 图像处理和计算机视觉的分类三部分图像处理图像分析计算机视觉...
Atitit 图像处理和计算机视觉的分类三部分图像处理图像分析计算机视觉 1.1. 按照当前流行的分类方法,可以分为以下三部分:三部分图像处理图像分析计算机视觉1 1.2. 图像处理需要 ...
林达华-和机器学习和计算机视觉相关的数学
以下文章转载自哪里也不清楚了,谢谢原著作者吧!! 和机器学习和计算机视觉相关的数学之一 (以下转自一位MIT牛人的空间文章,写得很实际:) 作者:Dahua 感觉数学似乎总是不够的.这些日子为了解决r ...
和机器学习和计算机视觉相关的数学
http://blog.csdn.net/zouxy09/article/details/8084511 和机器学习和计算机视觉相关的数学之一 (以下转自一位MIT牛人的空间文章,写得很实际:) 作者 ...

机器学习与计算机视觉（被忽视的isp图像处理）

机器学习与计算机视觉（被忽视的isp图像处理）相关推荐

最新文章

热门文章