来源丨新机器视觉

通过适当的组件选择，高光谱成像技术可提供可见光范围以外的有效图像捕获。
高光谱成像（HSI）技术最初用于地球观测，已扩展到各个领域，从工业分类到医学研究，例如科学家利用该技术生成皮肤和皮下组织的数据库。
随着图像传感器和照相机的改进，研究人员和开发人员正在发现越来越多的高光谱成像应用，包括食品质量控制，制药过程控制，塑料分选和生物测量。图1：回收站（上）每年接收300万吨塑料。高光谱相机可以区分四种不同类型的塑料（底部）。
应用范例
食品质量控制
过去，食品质量控制需要破坏性的测量。质量保证人员在每个批次中选择一个样本进行采样，检查其外观，并使用破坏性测量技术根据分析结果确定等级。现在，SWIR高光谱成像可以帮助识别和量化食品的化学成分，并基于所分析的每个分子的不同波长或光谱指纹，提供诸如营养，脂肪百分比，糖含量和新鲜度等信息。例如，一架无人驾驶飞机上的SWIR高光谱摄像机可以帮助测量生长在树上的苹果中的糖含量，并在收获季节之前预测其等级和质量。
塑料分选
2017年，美国的塑料回收率为8.4％，但回收工厂每年接收300万吨塑料。随着对回收利用意识的提高，预计会有更多的人对废物进行回收，这意味着需要更多的塑料用于回收工厂进行处理。但是，不同的塑料材料需要不同的回收过程，如果使用错误的过程，则无法区分它们可能会滤出有毒化学物质，或在此过程中损坏仪器。借助高光谱成像，回收站可以轻松地利用1.7至2.6 m光谱信息区分塑料材料，并使用从相机收集的空间信息在传送带上标记位置。图2：高光谱摄像机类型及其各自的采集和数据存储方法包括：（a）扫帚摄像机；（b）扫帚相机；（c）基于光谱扫描的高光谱相机；（d）快照相机。
高光谱成像的类型
高光谱相机可以通过四种方式捕获信息：点扫（点扫描）相机，线扫（线扫描）相机，基于光谱扫描（区域扫描或平面扫描）的相机以及快照（单次拍摄）相机。
点扫摄像机一次捕获一个像素。图像随着相机光栅扫描样品而建立，并包含其所有光谱信息。虽然在图像采集期间非常耗时，但是该方法导致非常高的光谱分辨率。
高光谱成像系统对农产品进行分级
线扫相机比点扫式摄像机快，并提供高光谱分辨率，线扫式摄像机一次可捕获一条线。相机会在样品上扫描这条线以生成完整图像。尽管比点扫更快，但线扫相机可能会在结果图像中产生锯齿和运动伪影。
光谱扫描相机一次收集给定波长的整个空间信息。高光谱立方一次生成一个图像/一个波长。虽然每张图像速度很快，但是光谱扫描由于改变波长所需的时间而缓慢地产生立方体。
高光谱快照相机可以捕获高光谱视频，是快速成像运动物体的理想选择。但是，这些相机通常只能提供有限的光谱和空间分辨率。图3：Hamamatsu Photonics提供了G14741-0808W InGaAs面积图像传感器（顶部），该传感器提供了光敏度和光谱响应曲线，如图所示（底部）。
图像传感器要求
独立于高光谱平台，光学传感器在数据采集中扮演着最重要的角色。在本节中，本文介绍了HSI所需的传感器规格。
光谱响应范围
与传统的RGB成像相比，HSI的主要优势在于能够在更宽的光谱响应范围内以更高分辨率的光谱捕获更多细节。借助CCD和CMOS图像传感器等硅技术，可以在可见光和近红外范围（从400 nm至1100 nm波长）中检测出肉制品中的变色和一些异物。但是，使用反射成像方法检测肉的水分含量（嫩度）需要900至1700 nm的光谱范围。在此波长范围内，CCD和CMOS传感器没有足够的响应，而标准的InGaAs技术可以以相当可观的成本实现超过70％的量子效率。
作为另一个示例，检测牛肉中的脂肪酸需要1000至2300 nm的光谱范围。借助扩展的InGaAs技术，该传感器可以检测900 nm至2.5 m的波长，使其适用于1.7 m以上的高光谱成像。作为可以提供扩展波长的InGaAs图像传感器的少数供应商之一，滨松光电公司发布了一系列QVGA InGaAs区域图像传感器，其截止波长为1.7 m， 1.9 m，2.2 m和2.5 m。
动态范围
光学传感器的动态范围对于在宽光谱范围内获取信息非常重要，尤其是在部署推扫技术进行图像获取时。推扫式摄像头可以同时捕获一整条图像线和光谱信息，并且可以将所有波长的曝光时间设置为一个值，因此传感器需要具有足够的动态范围以获取非常低的信号和整个光谱中的峰值信号。动态范围取决于读出噪声和传感器的饱和度。读出的噪声通常确定传感器可以检测到的最小信号电平。例如，要达到1.2V饱和输出电平下的1500动态范围，就需要800 V rms的读出噪声，这对于CMOS ROIC设计而言并不容易。长时间曝光 需要考虑暗电流散粒噪声，特别是在使用扩展的InGaAs时。例如，在相同的像素格式下，如果标准InGaAs传感器（1.7 m截止波长）的暗电流指定为0.03 pA，则扩展的InGaAs传感器（2.5 m截止波长）的暗电流可以指定为30 pA。
新型宽带LED增强了高光谱成像应用
灵敏度
与可以将曝光时间设置为030秒的传统光谱相比，HSI的曝光时间必须足够短（有时以毫秒为单位，甚至是微秒，范围），以避免任何波长下的饱和，这可能导致曝光不足如果传感器在任何波长下都不具有足够的灵敏度，则某些光谱带的光谱会降低，并且光谱测量的准确性会降低。传感器的灵敏度包括光电二极管阵列的光电灵敏度和片上读出电路的电荷电压转换增益。然而，读出噪声水平通常随着灵敏度的增加而增加。使用区域扫描HSI技术，可以为每个波长设置合适的曝光时间或片上增益。例如，可以为低信号范围设置较长的曝光时间或较高的转换增益，可以为强信号范围设置较短的曝光时间或较低的转换增益，以便在整个波长范围内获得平滑的输出光谱。
作为最流行的高光谱成像方法，pushbroom方法以按行带状交错（BIL）的格式存储高光谱数据立方体-一种在一个方向上连续扫描的方案。因此，线扫式摄像机特别适合在工业过程中常用的传送带系统，例如食品质量和安全检查，回收工厂的分类以及药品标签和包装。对于具有快速移动物体的应用，快速采集变得至关重要。不仅曝光时间短，而且传感器设计的体系结构都可以提高读出速度。例如，片上采样保持电路启用“边读取边积分”（IWR）功能，因此传感器可以在第二行曝光时开始读取第二行曝光，同时读取整条线（来自前一次曝光的数据）。
区域扫描方法可以在一系列波长中记录空间和光谱信息，因此对于快速成像应用很有吸引力，但是区域扫描相机不适合需要移动样本测量的应用。滨松光电制造的区域图像传感器具有列平行结构和部分读出（ROI）功能，不仅可以按像素数量成比例地缩短读出时间，而且可以节省数据存储和数据处理工作。
相机要求
摄影机
高光谱成像相机有两种类型：线扫描相机和面扫描相机。
线扫描摄像机集成了线性一维传感器，并具有高帧率的优势，速度超过40,000行/秒，使其非常适合组装线的在线检查。当与人工智能（AI）结合用于缺陷识别或模式识别时，它是检查系统的重要组成部分，因为高采集速度可实现基于AI的分类和缺陷识别任务。
区域扫描相机集成了2D传感器，并通过生成整个场景的快照图像来提供高空间信息。典型的区域扫描InGaAs摄像机采用QVGA或VGA格式。摄像机可以快速捕获许多图像，提供大视野，并适合农业中的广域成像应用。
高光谱成像摄像机还可以用于食品检验，安全性，塑料分拣和药物发现。大多数相机的传感器上都有散热装置，可降低噪声和暗电流，从而改善整体图像质量。板载内存或用户可访问的FPGA使摄像机对于定制非常有吸引力。
接口
接口选择是选择摄像机的重要考虑因素，因为它定义了摄像机的速度，连接性以及与其他仪器的集成程度。相机有许多为不同目的而设计的接口。USB和GigE是最常的，而示例包括RS-422 / LVDS，Camera Link，RS-232和CoaXPress接口。
软件支持
将正确的软件与高光谱硬件配对代表了系统开发中的关键一步。必须考虑硬件驱动程序的支持，因为相机必须在选定的软件环境中运行。
对于希望对接口进行自我编程的用户，软件开发工具包支持是他们的主要考虑因素。编写自定义界面使用户可以完全控制最终用户的体验。Python和C ++是常见的编程语言，而Linux操作系统为控制设备和数据流提供了极大的灵活性。作为开发人员，必须确认照相机支持这些编程工具，或进行昂贵的系统重新设计。

本文仅做学术分享，如有侵权，请联系删文。
3D视觉工坊精品课程官网：3dcver.com
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现11.自动驾驶中的深度学习模型部署实战12.相机模型与标定(单目+双目+鱼眼）13.重磅！四旋翼飞行器：算法与实战14.ROS2从入门到精通：理论与实战15.国内首个3D缺陷检测教程：理论、源码与实战重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。▲长按加微信群或投稿▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款 圈里有高质量教程资料、答疑解惑、助你高效解决问题觉得有用，麻烦给个赞和在看~