【转】一文带你了解800万像素车载摄像头

作者：九章智驾
链接：https://zhuanlan.zhihu.com/p/424947860
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

引言随着汽车智能化程度的提升，汽车的智能化功能、娱乐属性等成为主机厂打造差异化的重点方向。车载摄像头作为汽车的“眼睛”，是打造智能驾驶和智能座舱必备的视觉感知传感器。

一、车载摄像头的应用趋势

从辅助驾驶到无人驾驶，车载摄像头的应用需求从成像镜头向感知镜头转变，使用场景由单一场景向多方位场景拓展，应用数量由单摄向多摄迈进。总之，未来车载摄像头的使用数量会持续增长，摄像头的分辨率越来越高。

1. 单车搭载摄像头数量逐渐增加

在低速泊车应用上，从最早只有一个倒车后视摄像头，后来发展到4~5个环视摄像头；行车辅助应用上，从最开始1个前视单目摄像头，发展到后来的前视三目、四目以及侧视和后视共计7~8行车辅助摄像头，甚至有些车内还配置有驾驶员监控摄像头和乘客监控摄像头等。

受功能需求和法规政策驱动，以及摄像头硬件成本的降低的影响，一个L2+级别的智能化汽车配备11个以上的摄像头将会是很普遍的现象。

车载摄像头类型（图片来源：中金公司研究部）

1）功能需求驱动

汽车智能化对车辆自身安全、行人安全以及驾驶员监控等主动安全提出了更高的要求；摄像头作为最为最重要的车载传感器，可以发挥如下作用：

车外环境监控：a. 辅助或代替驾驶员感知外部环境，比如车道偏离预警、交通标志识别、行人/骑自行车人-AEB等。b. 代替内/外后视镜提供图像给驾驶员，随着法规的推进，摄像头将会取代传统的内/外后视镜去“监控”后方和侧后方的环境状况。车内环境监控：驾驶员监控系统DMS延伸到乘员监控系统OMS，其监测范围从驾驶员扩大到整个座舱内的物体检测，比如车内儿童遗忘监测、座舱异常情况监测等。

2）法规政策驱动

汽车智能化的升级推动汽车安全技术标准也相应地提升，欧盟的E-NCAP、美国的IIHS以及中国的C-NCAP评价测试中不断扩充主动安全技术的性能测试，包括以前视摄像头为主传感器所实现的AEB、FCW和LDW等驾驶辅助功能和基于舱内摄像头实现的驾驶员监测和乘员监测等功能。

法规政策的驱动（资料来源：各国NCAP）

AEB强制标配法规

主要国家和地区政府已经拟定时间表全面标配AEB，并且政策的覆盖范围从商用车领域逐步扩展到乘用车领域。

AEB相关法规政策

电子外后视镜法规

欧盟和日本先后于2016、2017年放开对电子外后视镜的法规限制，汽车电子外后视镜率先在这两个地区获得发展。我国尚不允许电子外后视镜代替传统后视镜，但2020年6月，工信部发布《机动车辆间接视野装置性能和安装要求》征询意见搞，为国内电子外后视镜市场的应用吃下了一颗“定心丸”。

DMS驾驶员监控相关法规

欧盟E-NCAP发布的最新2025路线图，要求从2022年7月开始，所有新车都必须配备DMS。在中国，全国性的商用车DMS系统强制安装法规已经在调研立项之中，最快有望在今年底出台。

3）摄像头硬件简化，成本降低

系统控制集中化架构驱动硬件简化，摄像头也逐渐被重新定义为“只采集、不计算”的轻量化传感器设备。传统摄像头方案需实现图像采集&视觉处理两大功能，但在整车E/E架构进化趋势下，ECU由分布式演变为集中式，算力向中央集中的同时，包括摄像头在内的传感器硬件得以简化，视觉计算处理模块也会向“中央大脑”转移，摄像头将只用于“图像采集”。

摄像头的硬件构成变得更加简单，CIS、镜头成为最核心部件，摄像头的硬件成本大幅降低。有业内人士提出：“120万像素的摄像头平均在150元，500万像素摄像头价格大概在300元左右，800万像素摄像头价格大概在500元左右。”

2. 摄像头分辨率越来越高

随着自动驾驶级别的提升，对摄像头的要求也越来越高；车载摄像头最开始的应用是倒车辅助和行车记录，主要是把摄像头拍摄的图像和视频供人察看，几十万像素的分辨率也基本可以满足要求。随着功能和应用场景的扩展，摄像头应用重点转移到了在驾驶过程中辅助系统进行周围环境感知。

系统对摄像头的分辨率要求越来越高，从最开始30万像素升级到100多万像素，又发展到现在的200万像素，并且随着技术的进一步提升以及市场需求的推动，未来的高级别自动驾驶车辆中都在规划应用800万级别的高清像素摄像头，用于对更远距离的目标进行识别和监测。

车企是否应用800万像素摄像头，成本肯定是一方面，另一方面还要看车企是否具备相配套的技术能力。某车企自动驾驶负责人曾说过：“堆砌硬件会给人一种错误的认知，认为传感器越多自动驾驶的能力就越高，但如果测试和算法跟不上，硬件堆砌再多也没用。”

如果每个摄像头都达到800万像素，计算平台处理数据的难度也在增大，整体系统成本必然也会增加。因此不能单看摄像头的成本，还需要从整个系统的角度去看。同时，车载摄像头并不是像手机那样拼像素的能力，还需具备与高分辨率摄像头配套的算法能力。如果没有与高分辨率摄像头的相匹配的算法和测试能力，那无疑于“小马拉大车”。

虽然采用了一个较高的配置，但是性能提升却有限。这种情况下，高分辨率摄像头的性能依然是无法充分发挥出来的。那样的话，800万像素摄像头便成了一个“花瓶”，只是吸引用户的噱头而已。虽然整体上来讲，算法和测试能力也许还未能跟得上摄像头技术发展的步伐。但是高分辨率摄像头这个未来的应用趋势是毋庸置疑的，它是技术和市场“双轮驱动”的必然结果。

二、800万像素摄像头应用

在今年的上海车展上一些OEM宣布了800万像素摄像头的搭载计划，同时一些供应商也在其自动驾驶感知解决方案中采用了800万像素摄像头作为前视应用场景中的主要传感器。

1. 车企应用

8MP摄像头车企应用汇总

1）2021款理想ONE全球首个量产应用800万像素摄像头的车型，前置摄像头由原来的单目130万像素升级到800万像素，水平视场角由原来的52°扩展到120°，对车辆和行人的最远有效探测距离由150m左右提升到200m以上。

在控制决策芯片上，2021 款理想ONE辅助驾驶芯片已经从EyeQ4换成了地平线征程3，算力由原来的2.5TOPS提升至10TOPS。

两款车型基础信息对比

2）蔚来ET7

蔚来ET7计划于2022年第1季度上市，该车搭载了11个8MP摄像头，其中包括7个行车辅助摄像头（4个前向 + 3个后向）和4个环视摄像头。其中行车辅助摄像头的供应商为联创电子，环视摄像的供应商为德赛西威。

蔚来ET7-摄像头布置示意图

在控制芯片上，蔚来ET7采用自研的超算平台-NIO Adam，它包括2颗主控芯片、1颗冗余备份芯片、1颗群体智能与个性训练专用芯片共计4颗英伟达Orin芯片构成，算力共计1016TOPS。

3）极氪001

极氪001搭载的鹰眼视觉融合感知系统（Falcon Eye Vidar）配置有15颗高清摄像头，其中7颗8MP长距离高清摄像头、4 个短距环视高清摄像头、2 个车内监测摄像头、1 个车外监测摄像头和1 个后置流媒体摄像头。在控制芯片上采用2颗Mobileye EyeQ5芯片，芯片算力接近50TOPS。

极氪001- 8MP摄像头布置示意图

2. 自动驾驶系统方案提供商应用

1）大疆

2021年上海车展，大疆车载的D130和D130+自动驾驶解决方案均采用了800万像素的前视双目摄像头。

a. 感知解决方案：激光雷达（前置）*1 + 前置毫米波雷达*1 + 角雷达*4 + 前视（8MP双目 - 两个摄像头参数规格完全相同）+ 环视*4 + 后视*1（2MP）+ DMS监控摄像头*1

b. 智能驾驶中央域控制器（算力可达100TOPS）

D130/D130+ 自动驾驶系统解决方案（图片来源：大疆宣传资料）

2）地平线

2021年上海车展，地平线发布了自动驾驶解决方案Matrix Mono和Matrix Pilot。——

Matrix Mono采用800万像素单目摄像头，控制器采用地平线征程3，实现L2级自动驾驶功能。

——Matrix Pilot采用6颗摄像头：1颗前置800万像素单目摄像头，120°水平视场角；另外5颗摄像头为200万像素，100°水平视场角，分别位于车身左右两侧及后侧，用于探测车辆斜前方，斜后方及后方的交通状况。控制器采用地平线征程3，实现L2+级自动驾驶功能。

Horizon Matrix Pilot 摄像头布局参考（图片来源：地平线宣传资料）

三、800万像素摄像头与算力、算法以及数据的关系

随着800万像素摄像头在2021款理想One上首次量产应用，800万像素摄像头的议论热潮再次兴起。有一个话题大家普遍很关注，那就是800万像素摄像头与算力、算法以及数据之间的关系，例如：如果用800万像素摄像头代替之前低分辨率摄像头，需要多大算力的芯片的支持？原来的算法是否需要重写？采用低像素摄像头积累的数据，现在是否能还能复用？

1. 800万像素摄像头与算力

摄像头算力需求跟哪些因素有关？对于车辆配置1个或多个800万像素摄像头，大致需要多大的算力支持，这个是否有计算公式可以评估？摄像头对计算平台算力的需求，不仅跟摄像头自身的性能参数有关，比如摄像头的位数、分辨率、帧率等，同时也与摄像头的应用场景以及采用的算法模型有很大关系。如果算法固定，识别同样的东西，肯定是摄像头的分辨率越高，需要的算力越大；

但是，从总体来讲，摄像头的应用场景和所采用的算法模型和算法策略对算力的影响是更大的。针对此问题，笔者专门请教过德赛西威副总裁李乐乐，他的看法是：“摄像头分辨率越高，需要的数据存储量肯定越大，计算能力需求也会更大。但是多大的分辨率对应多大的算力，是没有直接对应关系的，也是不太好直接用公式去衡量。

“ 比如现在新势力规划的车型，摄像头的配置基本差不多，但是计算平台的算力差别却很大，这是为什么呢？首先，因为他们的算法模型可能本身就不太一样；其次，系统对算力的需求是持续提升的，硬件的算力资源需要提前预留好，他们对算力资源的预留程度层面的考虑也是不同的。“ 同时，跟具体的应用场景也有很大关系，以前视为例，基于同样分辨率的摄像头，如果其应用场景仅限于识别车辆、行人、车道线这三类目标，其对算力的需求相对来说是一个轻量级的。

“ 若其应用场景需要系统识别的目标更多、探测的距离更远、识别的精度更高，不但要识别上述三类目标，还要识别红绿灯、限速牌、路标、路杆、多车道车道线等。障碍物的区分不仅包括车辆、行人，还包含了骑自行车人和骑三轮车人，甚至还增加非标准目标进行检测，这样的应用场景对算力的需求肯定是更大量级的。”

2. 800万像素摄像头与算法

如果用800万像素摄像头代替之前低分辨率摄像头，原来的算法是否需要重写？大部分专业人士给出的答案是：不需要完全重写，部分可用，部分需要重写。至于需要重写的部分占多大比例，是没有一个明确答案的，因为不同OEM有着不同的开发现状和开发计划。

其中一位专业人士告诉笔者：“使用高分辨率摄像头后，其实在算法方面并不需要完全重写，但深度学习的模型需要重新训练，原有的数据积累可以作为预训练使用，不过仍需采集新的高像素数据一起使用。”

针对此问题，德赛西威的李乐乐这样表示的：“算法模型是不是一定要调整，一方面跟摄像头有关，另外也跟控制器的SoC也有很大的关系。“对于支持100万像素摄像头的控制器，其大概率是比较低等级的，计算能力是偏弱的，应用场景也比较简单，比如车道线检测，或者是用于简单的目标识别加雷达融合做ACC和AEB。这些应用场景的大部分算法可能还是基于计算机视觉的一些模式识别算法，也许都还没有用到神经网络。

“对于简单的应用场景和传统的算法，通过ARM处理器就可以完成，甚至都不需要通过加速器来做，即使是AEB，随着NCAP标准的升级，摄像头分辨率和角度需要更大才能进一步支持，处理器也就需要更强的性能，算法对应也是需要进一步升级，算法的策略和工程化的积累虽然可以继承，但也不能完全照搬，也需要同步升级。

“而现在800万像素摄像头所采用域控制器的SoC算力肯定会更强，多采用基于AI的算法，并且算法模型的复杂度也会更高。对于这种情况，原来的算法大多是不能复用的，能复用的主要是策略方面的算法。”

也就是说，若是前后两代系统采用的控制器芯片SoC类型相同，并且原来采用的就是当前流行的神经网络模型和深度学习算法，那么摄像头升级到800万后，原来的算法模型大多可以复用，但往往算法的进步也非常快，一代产品的算法有一代产品算法的局限性，通常也要跟着芯片的升级而升级。

比如小鹏的Xpilot3.5系统，前视采用三个200万像素摄像头，主控芯片采用英伟达的Xavier来驱动的。下一代控制器SoC要升级到英伟达的OrinX芯片，其提供的算力更高，摄像头也要升级到800万像素，因为两代SoC的类型相同，上一代的算法模型这一代基本是可以复用，但也一定会升级和更加复杂以提高其综合性能。

3. 800万像素摄像头与数据

自动驾驶的算法模块，尤其是感知和预测模块，基本都是数据驱动，可见数据对算法迭代的重要性。那么之前通过低分辨率采集的数据，摄像头升级为800万像素，在算法模型训练的时候是否可用呢？答案是可以的。

800万像素摄像头可以通过之前的数据去训练算法模型来继承原来的一些能力，比如检测的准确率和误检率。但是800万像素摄像头探测的距离更远了，需重新采集之前所没有的数据，去应对新的场景，去拓宽自己的性能边界。

以特斯拉为例，即便这些年通过影子模式已经积累了大量的场景数据，若是换成800万像素摄像头，通过之前的数据能够继承200万像素摄像头的一些基础性能，但仍会有大量场景数据依然还是需要再重新采集的，用于不断地去迭代算法模型，进而无限地逼近800万像素摄像头的最佳性能效果。

四、关于800万像素摄像头的其它几点思考

1. 800万像素摄像头未来的主要应用场景有哪些？

800万像素车载摄像头未来应用场景包括：周视（前视、侧视、后视）、环视、电子后视镜摄像头以及舱内摄像头等；其中前视以及舱内摄像头是在不久的将来最有可能规模化推广应用的主要场景。

对于前视场景，它是对高分辨率摄像头最迫切的一个应用场景，因为前视需要解决的场景最多，目标识别任务最复杂。其应用场景既需要有较高的图像分辨率能够识别更远距离的小目标物体，也需要有一定范围的视场角以便于及时对切入到本车道的目标做出反应。

对于侧视和后视场景，它们的探测距离没有前视探测要求的那么远，摄像头的目标识别任务相对简单。主要探测目标就是侧方车道和本车道的移动目标，不需要识别红绿灯、路标等任务。目前200~500万像素摄像头完全可满足侧/后视的应用需求；综合考虑成本和性能，短期内来看，侧/后视对800万像素摄像头的需求反而并没有那么迫切。

对于舱内视觉应用场景，一些传统OEM为了提升其豪华和科技感，其豪华品牌会在舱内配置高分辨率彩色的摄像头（800万像素摄像头），用于满足舱内的娱乐和办公需求，比如自拍，开视频电话会议等。

对于电子后视镜应用场景，目前主流还是200万像素的，但是未来是需要800万像素摄像头的。电子后视镜对摄像头的帧率是有需求的，至少需要达到90帧。从长期来看，电子后视镜和侧后视的摄像头是有共用趋势的。

对于环视应用场景，摄像头主要是提供图像给人察看，还可用于感知辅助，比如当前车道线的检测，辅助系统完成对车道线的识别和感知。当前应用的鱼眼摄像头分辨率主要分布在100万像素-200万像素之间，其中100万像素左右的鱼眼摄像头已经规模化应用，200万像素的环视才刚刚逐渐开始量产应用。

2. 800万像素摄像头相比100~200万像素摄像头，它具备哪些性能优势？摄像头分辨率上的提升是否会对其他性能参数带来影响？

能够具备在更远探测距离的同时，还可以具备较大的视场角。以前视摄像头为例，100~200万像素摄像头有效探测距离在100~150m的时候，视场角却只有50°左右，但是800万像素摄像头，却可以在实现200~250m探测距离的同时，还可拥有120°左右的视场角。同时，高分辨率摄像头还具备更高的动态范围（HDR）和更优的LED频闪消除功能（LFM）。

同等条件下，摄像头分辨率越高，其单像素尺寸就会越小，这样的话，在低照度下的光电转换效率就会低一些，从而影响在光照不足时摄像头的表现。高分辨率摄像头好处在于能够看得更远，更清晰，但是其夜间感知效果相对会差一些。因此系统在选择摄像头的时候不能一味地去追求高像素，需要做一个平衡。

3. 在800万像素摄像头的应用上，国外传统OEM相比造车新势力处于一个相对比较保守的状态，为什么会出现这样一种现象？

首先，开发流程和方法理念是不太一样的；国内造车新势力，对于新产品和新技术的应用相对来说是比较激进一些的，采用快速迭代的方法，在技术和产品还没有完全成熟之前就已经开始应用。然而对于国外的传统主机厂，他们对开发流程的要求相对来说是比较高的，导致开发周期就比较长。

其次，国外的传统OEM目前主要还是以与Mobileye合作为主。在算法上，大部分OEM还是依赖Mobileye的算法。如果换成一家和算法解耦的芯片公司，比如像英伟达的大算力平台，或者其他更高算力的计算平台，还需要相应算法能力的支持，但是目前欧洲缺少这样的算法公司去做这些事情。如果OEM要采用高分辨率的做多摄像头方案，若没有高算力的计算平台和与之相匹配的算法能力，单纯的去使用高分辨率摄像头也是没有意义的。