光

首先来看看可见光在电磁波谱里的位置，光在电磁波谱里的范围是非常窄的

一般人的眼睛能感知的电磁波的频率在380~750THz，波长在780～400nm之间，但有些人能够感知到频率大约在340~790THz，波长大约在880～380nm之间的电磁波。

正常人眼睛对绿光最敏感。

​

在图像处理领域，我们主要关注波长为200-1100 nm这段范围内的光，主要包含3部分：

​

可见光：400 - 750 nm

近紫外光：200-400nm

近红外光：750 - 1100nm

光的波粒二象性: 是粒子也是电磁波。

一个光的粒子叫做光子，光子具有能量（频率越高能量越大）。能量大小决定了波长，一种波长对应着一种颜色。

​

E = 光子的能量，h = 普朗克常数，c = 光的速度，λ = 光的波长

光电效应

在高于某特定频率（极限频率threshold frequency）的电磁波照射下，某些物质内部电子吸收能量后逸出而形成电流的现象。

在sensor半导体材料中，光子击打到硅表面时会逐出电子

​

释放出的电子数量取决于光子的强度

​

上图展示了单个原子的一个电子被光击打后释放了一个电子的过程

量子效率（Quantum Efficiency）

量子效率是一种对光敏器件电光敏性的测量方法，表示光转换为电的比率。光子在撞击光活性表面时产生电子-空穴对的百分比越高，量子效率越高。

假设QE为60%，代表每个10个光子达到一个像素时，有6个电子被释放。

下图为ChemiScope 6000 CCD相机量子效率曲线图

满井容量（Full Well Capacity）

CCD 或CMOS 每个像素的势井所能容纳的最大电子数，这个概念很好理解，想象每个像素下面有一个小隔间用来存放光电转换后释放出的电子，小隔间挤满的时候电子个数就是满井容量。

像素规格 FWC
小  4000 
中 10000
大 50000

更大的FWC会使灵敏度更高，信噪比更好，动态范围更大。

CCD和CMOS Sensor

CCD(charge coupled device)指电荷耦合器件。

CMOS(CompementaryMetalOxideSemiconductor)指互补金属氧化物半导体，图像领域作为低成本的感光器件。

CCD和CMOS都是市场上常见的感光器件。

CCD和CMOS网上的资料很多，本文重点关注与CCD和CMOS在读出数据的差异。

CCD

先来看一下CCD里单个像素的结构

黄色部分是微透镜，微透镜能够增加像素的光子收集区域，并且将光子聚焦到感光区域上。

红色部分是滤光片，这个以红色为例，这个像素会收集红色光的信息。

最下面的结构从上至下，从左到右分别是光电二极管（感光元件）、TG传输门、V-CCD垂直寄存器。像素电荷通过TG（transfer gate），从PD（光电二极管）转移到V-CCD（垂直寄存器）。

上图展示了CCD读取像素数据的过程。我们可以将CCD的内部结构分成两部分，上图右边3*3的9个水桶，每个水桶可以看做是一个像素，雨水代表光线。上图左侧的3个桶是CCD内部用来串行读出一行像素数据用的暂存寄存器，左下角的量杯可以看做ADC，将实际的像素值测量出来。

在曝光的时间里，右侧3*3水桶接收雨水，等曝光时间结束后：

1. 3*3阵列里的每一排同时沿着箭头方向将收集到的水（电荷）转移到相邻的水桶中去，最前面的一排水桶的水到了暂存寄存器中，第二排的水转移到了第一排，以此类推。

2. 然后最左侧的3个水桶沿着箭头方向将水依次串行倒入量杯中进行测量（中间还会存在放大器将信号放大），转换为对应位置像素值。

3. 当一行完成测量后，重复步骤1-2，直到所有桶的水都被测量为止。

CCD的主要问题

Blooming效应

当场景中存在亮度较高的点光源或亮区域时，CCD在亮点光源附近区域会存在Blooming效应，也叫做“开花”、“光晕”、“光溢出”（可以理解为亮瞎了狗眼，呵呵）。

这个问题发生的原因是CCD传感器的像素在受到强光照射时，亮点区域像素光照太强，光电二极管在强光下产生的光电子数超过了CCD电荷存储区可存储的最大电子数而溢出，溢出的电子将沿行或列的方向进入到了相邻像素，“污染”了相邻图像区域 (专业说法是：使相邻区域也饱和了)。如下图照片中太阳周围一片像素的值基本都饱和了。

 Smearing现象

CCD图像中发生了弥散（漏光，拖尾）。此问题发生的原因和Blooming类似。

FT型CCD，当电荷从感光区转移到存储区的过程中，感光区实际还在感光，产生电荷，这些电荷会污染已经存在的电荷。想要减小影响，必须让CCD的转移时间尽可能短，或者在转移时关掉快门。

IT型CCD，当强光照在CCD传感器上，由于光斜射、工艺等原因，电荷可能被邻近的存储区所接收，会导致一个随机扩散过程，使电荷跑到了存储区。

想了解FT,IT，FIT型CCD的意思，参考下面这个链接      三种CCD的优缺点分别是什么？（IT CCD即内线转移CCD、 FIT CCD即帧内线转移、 FT CCD即帧转移CCD）_百度知道https://zhidao.baidu.com/question/186640221.html

 CMOS

传统的前照式CMOS（Frontside Illumination, FSI）

从上到下依次为微透镜、颜色滤波片、线路层和光接收表面以及光电二极管。

这种结构CMOS总面积约等于 光接收表面的面积 + 线路层有效面积。如果线路层有效面积大，CMOS能收集的光线就少，这样图像质量就会变差。可以看出这种结构对光的利用率较低。

背照式CMOS（Backside-Illuminated，BSI）

为了改善前照式CMOS问题，出现了背照式CMOS。背照式CMOS的线路层和光电二极管层位置做了交换。这样光线几乎就没有遮挡进入了光电二极管，光线利用率极高，成像质量也就更好了。但带来这个好处的同时，背照式CMOS由于线路层密度变得更高，电路之间干扰也变大了。低感光度下信噪比可能会有所下降。

背照式CMOS概念提出在1990年代，但对当时的生产加工要求很高，还无法量产。2007年OmniVision对外展示了BSI的样品。直到2009年2月，SONY首次实现了量产BSI CMOS，注册了Exmor R商标。首批使用Exmor R CMOS的相机有SONY HDR-XR520,HDR-XR500,DSC-WX1等。

堆栈式CMOS（Stacked）

CMOS的制作过程和CPU类似，需要特殊的光刻机对晶圆进行蚀刻以便形成像素区域和处理电路区域。为了提高像素收集光的效率，需要引入光波导管。光波导管干刻过程中，晶圆和像素区域会受损伤，这时候要进行一个叫“退火”的步骤，让晶圆和像素区域恢复，需要将整块CMOS加热。但加热后同在一块晶圆上的处理回路肯定会受到影响，前面已经做好了的电容电阻的值退火后会改变，对电信号读出测量有影响。

另外，如果CMOS的制程是65nm，像素区和处理回路在同一块晶圆上制作，因此它们只能使用相同的制程。虽然对于像素区域来说，65nm已经足够了。但对于处理回路来说，65nm能容纳的晶体管数量显然不如使用更低的45nm或30nm多，这样处理回路的性能也会受到限制。

为了解决这些问题，SONY的工程师提出了堆栈式CMOS。将像素区域和处理回路分开，像素区用65nm制程制作，处理回路用更高规格的制程制作，然后将两者拼到一起。这样就解决了之前的问题。

堆栈式CMOS有背照式CMOS的优点，还克服了其在制作的限制和缺陷。由于处理回路改善，摄像头也能提供更多功能比如硬件HDR，慢动作拍摄等。同时由于像素和处理回路分开，还附带来了体积更小、性能和功耗反而更强的好处。

        CMOS的像素数据读取

无论是哪种CMOS，由于每个像素都有独立的处理回路，因此读取像素的值不用按照CCD那种串行移位的方式进行，每个像素的值都能立即单独读出，因此速度较CCD有了较大的提升。

这里所说的处理回路，关于ADC的使用，主要有两种：一种是每个像素有一个单独的ADC，称为像素级ADC；还有一种是每列使用一个ADC，称为列并行ADC。想要了解更多，参考这里：

CMOS图像传感器系统中的列并行高速ADC的研究设计 - 豆丁网

https://www.jstage.jst.go.jp/article/transele/E101.C/7/E101.C_444/_pdf/-char/ja

下图为一个使用了列并行ADC的CMOS读取电路框图

图中的每个“C+A”的 方格代表每个像素单独的处理回路，C是微型电容(miniaturized capacitor)，A是放大器(Amplifier)。读取数据的时候，所有列的ADC同时工作采集一行的数据，采集完成后送出至外部模块。

如果是像素级ADC，则不需要这么麻烦，直接转换就好了。

CCD和CMOS对比

对比项 CCD CMOS
性能 同步信号控制下串行逐行移位读取，速度较慢 每个像素有单独电路，信号读取简单，速度较CCD快很多
成像质量 CCD技术起步早，采用PN结或二氧化硅隔离层隔离噪声，有一定优势，但随着技术发展，已无压倒性优势 早期CMOS由于光电传感元件、电路间距离很近，光、电、磁干扰严重，成像质量差。随着CMOS电路消噪技术发展，和CCD已相差无几
噪点         只有一个放大器放在芯片边缘，噪点较少 每个像素都搭配一个放大器，放大器之间难以做到一致，噪点相对较多
功耗 被动式采集图像，必须外加电压让每个像素中的电荷移动到传输通道，功耗高于CMOS。 主动式采集图像，像素中的电荷直接由旁边的晶体管放大输出，功耗较低。
成本         采用电荷传递方式，只要其中一个像素异常，会导致整排数据失效。良品率低，制造要求高，成本高于CMOS。 和一般半导体电路使用相同的CMOS工艺，可以轻易集成周边电路到芯片中，成本较低。

Camera和Image sensor技术基础笔记(1) -- 光和CCD/CMOS sensor基础知识相关推荐

  1. python基础笔记，超详细，包含面向对象基础，爬虫实战【持续更新中...】

    前言: 本笔记中的函数和方法同义,面向python3 本笔记部分概念及代码由newbing搜集整理得出 本笔记适合有一定其他编程语言基础的同学,因为笔记中省略了部分基础概念(比如整型,浮点型等基本数据 ...

  2. Jmeter使用基础笔记-写一个http请求

    前言 本篇文章主要讲述2个部分: 搭建一个简单的测试环境 用Jmeter发送一个简单的http请求 搭建测试环境 编写flask代码(我参考了开源项目HttpRunner的测试服务器),将如下的代码保 ...

  3. UWP入门（二） -- 基础笔记

    UWP入门(二) -- 基础笔记 原文:UWP入门(二) -- 基础笔记 不错的UWP入门视频,1092417123,欢迎交流 UWP-04 - What i XMAL? XAML - XML Syn ...

  4. 【camera】【CMOS Sensor】感光芯片cmos sensor简单介绍

    CMOS感光芯片简单介绍 1. CMOS感光芯片的模块 典型的CMOS图像传感器可以分为像素阵列.控制寄存器.时序控制逻辑.模拟信号处理.ADC模数转换及DSP几大模块: ADC模数转换,将模拟信号转 ...

  5. Camera和Image sensor技术基础笔记(5) -- HDR相关技术

    动态范围(Dynamic Range) 动态范围最早是信号系统的概念,一种信号系统的动态范围定义为:最大的信号不失真的电平和噪声电平的差,在实际场景中,多用分贝(dB)为单位来衡量一个信号系统的动态范 ...

  6. Camera和Image sensor技术基础笔记(10) -- sensor器件适配需要注意的地方

    本篇笔记为一个简单总结,主要为了说明一下在软件项目中对于新的sensor器件适配所需要注意的点(个人经验,仅供参考). 数据手册 一般通过FAE拿到器件手册.拿到手册后重点查看: sensor的管脚描 ...

  7. 攻防技术基础笔记一——病毒、蠕虫病毒、木马、软件漏洞、常见问题、漏洞成因、黑产产业链、遵纪守法、渗透测试、渗透测试方法、VMware的使用、认识kali

    攻防技术基础笔记 一.病毒 二.蠕虫(worm)病毒 三.简单辨析蠕虫病毒跟普通病毒 四.木马 五.木马与病毒的区别 六.软件漏洞 七.两个生活中的安全问题 八.漏洞产生的原因 九.漏洞黑产产业链 十 ...

  8. Hi3516开发笔记（三）：Hi3516虚拟机基础环境搭建之交叉编译环境境搭建以及开机启动脚本分析

    若该文为原创文章,转载请注明原文出处 本文章博客地址:https://hpzwl.blog.csdn.net/article/details/121458516 长期持续项目技术分享,Shang业Di ...

  9. Hi3516开发笔记（二）：Hi3516虚拟机基础环境搭建之串口调试、网络连接以及sftp文件传输

    若该文为原创文章,转载请注明原文出处 本文章博客地址:https://hpzwl.blog.csdn.net/article/details/121314575 长期持续项目技术分享,Shang业Di ...

最新文章

  1. 7-26 Windows消息队列 (25 分)（详解+思路+超时解决）
  2. 钟 docker讲解
  3. 蓝桥杯c语言a组2015,2015第七届蓝桥杯决赛C语言A组--穿越雷区（DFS）
  4. Windows10 VS2017 C++模拟点击按键
  5. js和jQuery的总结
  6. 多开 android模拟器,安卓模拟器如何多开窗口保证游戏不封号
  7. 面向对象的系统分析(一)-系统分析方法
  8. PHP 运行后出现The requested URL was not found on this server.
  9. Java实现DOCX文件和DOC文件互转
  10. 车马邮件都慢，一生只够爱一个人
  11. 常用的背景色、文字颜色
  12. 一本通题解——1438：灯泡
  13. 华为“More Bits, Less Watts”新践行
  14. markdown 目录一键生成和转为 word 格式
  15. paper 77：[转载]ENDNOTE使用方法，常用！
  16. c语言怎么做翻译软件,使用有道翻译API做翻译（c语言实现)
  17. AndroidViewAnimations:Andorid视图动画合集YOYO
  18. MP4/MOV/3GP文件的“ftyp”(转)
  19. 2022-2027年中国聚甲醛(POM)市场生产现状与投资前景预测报告
  20. 时钟频率（HZ）与数据传输速率（bit/s）

热门文章

  1. 反向代理为何叫反向代理？
  2. 【T+】畅捷通T+往来单位档案中默认票据类型设置为“必录”
  3. 怎样在CSDN博客挂广告
  4. 网狐棋牌游戏平台服务器架构设计分析[转]
  5. pytorch训练FER2013模型
  6. 解决mysql重启自动同步的问题
  7. fireBug网络面板数据说明(转)
  8. 计算机在英语专业的应用论文,计算机英语双语应用分析论文
  9. 第五届中国网络安全大会（NSC2017）
  10. 华为防火墙（usg5500）区域间实验