导读：摄像头在智能汽车时代被誉为“汽车之眼”，如果没有记错的话是Mobileye开创了智能汽车基于AI底层的摄像头的应用，而马斯克的特斯拉彻底把他发扬光大了，这下汽车产业一发不可收拾的开启了基于AI的摄像头的竞赛。
上篇文章《深入了解当前主流L2的ADAS 模块（零件以及供应链）》了解到智能汽车市场的摄像头市场巨大，那么智能汽车单车到底要用多少个呢？他们分别用在哪方面呢？智能汽车摄像头技术和难点在哪里？
所以本文借用相关资料希望从以下几个方面，希望能给大家带来一些观点和思考。
（1）智能汽车单车到底要用多少个摄像头？
（2）智能汽车摄像头分别用在哪方面呢？
（3）智能汽车摄像头技术原理是什么？
（4）智能汽车摄像头应用的难点在哪里？
一、智能汽车到底要用多少摄像头？
当前L2++的智能驾驶摄像头大概都在8-15个覆盖整车的360度视觉，以及触及舱内乘员监控。
根据yole的的数据表明：
在L1-2阶段摄像头大概1-2个；
到了L2阶段摄像头大概是1-5个；
到了L2++阶段也就是现在摄像头大概3-12个；
到了L3阶段大概5-20个；
所以Yole的数据比较真实，未来单车的摄像头数据都是十几个。这个在手机消费电子行业任凭你浴霸甚至整个手机都放摄像头也比不了。
二、智能汽车摄像头都用在什么地方？
那么智能汽车，他的摄像头都用在哪里?起到什么作用？
如上图Yelo的图片，车载摄像头大概会用在如下四个方面，其实总结是三个方面：
（1）智能驾驶环境感知 - 他包含两个部分得摄像头，一部分是环境感知摄像头，也就是之前文章讲得绝大部分；另外一部分是热成像摄像头用于夜视。
（2）环境探测视觉呈现 - 他包括三部分分别是 内部后视镜的替换，360度视野，一般360视野包含了倒车视野摄像头，最后一个是行车记录仪或者行车黑盒子，他与智能驾驶环境感知的差异是，环境感知是给机器看的，视觉呈现是给人看的，所以他们的技术特征不一样，下文会讲到。
（3）驾驶舱监控 - 他包括驾驶员监控识别摄像头和3D手势识别摄像头，也属于输入给机器的数据。
三、智能汽车摄像头技术原理？
人之所以看世界是五彩斑斓的，是因为人看到的全是来自外界物体的反射光。摄像头的基本原理是类似于眼镜通过传感器接收来自于物体反射的光线。光线有人类看的见的可见光，也有人类看不见的NIR 近波红外线，SWIR短波红外线，而传感器可以识别也就形成了各种夜视视像头。
当前摄像头传感器主要有CMOS 和CCD, CCD 相对于 CMOS 的优势在于其高感光度,高像素，高功耗为代价获得更好的图像质量，所以一般用在单反相机，而高功耗会导致热量问题和更高的价格，另外CMOS读取速度快，成本低所以当前车载摄像头都采用CMOS。另外还有夜视 (NV) 或高动态范围 (HDR) 等对光高度敏感的专用芯片。
一般去选择或者判断摄像头，都会考虑摄像头的参数和配置，上图为Sony车载摄像头的参数，应该是蔚来汽车要采用的8Mp摄像头参数配置，上图中参数抛开由镜头决定的视场角（FOV）和电源信息，车载传感器一般会有以下这些指标:
像素（megaPixels）：像素可以决定看的多远多大，但对于AI 那么处理器需要信息越多。
帧数(fps)，每秒获取画幅，这个汽车上体现的就是例如碰撞时间。
Dynamic range：测量了图像传感器在同一张照片中同时捕获光明和黑暗物体的能力也即动态范围越大，保留的高光区和阴影区信息越多。
如特斯拉的前视 1.2 Mp 1280x964 30fps ，就可以去解读了，但在智能驾驶领域。其实摄像头还根据可以感知颜色来分类，他主要是原因是CMOS 是一种光电传感器只能感应光的强度，不能区分光的波长（色彩），因此图像传感器需要通过色彩滤波（Color Filter）以获取像素点的色彩信息。色彩滤波阵列，英文名 Color Filter Array 或 Color Filter Mosaic ，简称 CFA 或 CFM，是像素传感器上方的一层马赛克覆层，用于采集图像的色彩信息。一般的光电传感器只能感应光的强度，不能区分光的波长（色彩），因此图像传感器需要通过色彩滤波（Color Filter）以获取像素点的色彩信息，。
生活中通常所用的摄像头都是通过以下滤波（R = Red 红色；C= Clear 不滤光；B=Blue ；G=Green 蓝色）获取颜色的。每个像素只能感应一种颜色的光，但是我对外输出的时候，需要知道这个像素的RGB值，我就只能通过周围像素去计算，这个计算和转换是靠ISP去完成的。进从而得出我这个像素的RGB的值，这样我每个像素虽然只感应了一种光，但是每个像素经过处理后传输到外面后就是有RGB的信息了。
当前车载摄像头CMOS 感知色彩有以下几种：
RGGB也常缩写成RGB,RGB是三原色，世间万物的色彩鼻祖，所以这种摄像头是生活常用的，也是视觉呈现常用的。例如360环视。
RCCC 最大限度提高光灵敏度，保留红色例如红绿灯和尾灯。RCCC 图像看起来是单色的，无法记录彩色图像。三个透明滤光片为其提供最佳灵敏度，而红色滤光片元件可识别来自刹车或交通信号灯的红光。所以当前大部分ADAS前置摄像头采用这个方案包括特斯拉HW2.0。
RCCB 提高了光灵敏度和更少的噪点,带有一个红色滤光片、两个透明滤光片和一个蓝色滤光片（见图 2c）。但它分辨色彩的能力更好，采集的图像既可以用于机器分析，也可以用于人眼观察。所以当前不少采用RCCB既保证光灵敏也保障了视觉屏幕输出的需求，例如特斯拉的HW2.5之后的摄像头以及蔚来ET5,ET7采用的索尼摄像头IMX424。
根据Yole发布的信息，对于参数和环境感知的色彩都影响摄像头的数据量，从而影响数据的传输以及数据处理器的算力。
四、智能汽车摄像头应用难点？
写到这里发现一个很有意思的现象，欧美朝着L4,L5自动驾驶进军Robotaix的 Curise（了解Curise 点击Cruise以及其自动驾驶技术）， Waymo都采用RGB的摄像头，我粗略的查询了下中国Robtaix的文行知远，Didi都采用RGB的摄像头（这个信息没有确认，如有知道的还请探讨）所以对于未来L4-L5的真正全自动驾驶他的感知应该是通过RGB丰富感知环境再通过类似于激光雷达的传感器融合实现。
如果以上推测成立，那么可以推测以下两个结论：
（1）当前特斯拉的自动驾驶天花板在感知传感器摄像头方面，再牛逼的算法也无力回天毕竟你对环境感知缺少三原色中的一种。当然有人透露tesla下一代摄像头将采用SONY 5mp的RGGB摄像头。
（2）蔚来汽车最新的Aquila摄像头方案不经济而且精确比不了同样采用激光雷达加RGB摄像头。
有大牛表示，目前国内大部分新势力都是“沿用”特斯拉的方案采用RCCC或者RCCB，可能就是跟着跑。以上推测为乱猜测，抛砖引玉，希望真的懂得大牛留言指导讨论，以方便大家都增强或者更正认知！当然智能汽车也只是产业化的产物，所以在摄像头甚至其他传感器得应用其实都在在检测精度、计算处理需求、功率和成本限制、鲁棒性和可靠性，拓展延续性等实际参数之间选择和调和，所以他准确得说是一门“艺术”而不是“科学”，所以他的难点是基于自身产品定位以及发展，服务客户也满足发展等矛盾的调和和选择最优解。而不是简单的从参数和数量上去论英雄。
参考文章：
1. Paving the way to self-driving cars with advanced driver assistance systems - TI
2. ADAS High Bandwidth Imaging Implementation Strategies - TI
3. Advanced Driver Assistance (ADAS) Solutions Guide - TI
4. The Fundamentals of Camera and Image Sensor Technology - Jon Chouinard
5. Computer Vision in Automated Parking Systems: Design, Implementation and Challenges - Markus Heimbergera , Jonathan Horganb , Ciaran Hughesb , John McDonaldb , Senthil Yogamanib,∗
6. Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather - Mario Bijelic1,3 Tobias Gruber1,3 Fahim Mannan2 Florian Kraus1,3 Werner Ritter1 Klaus Dietmayer3 Felix Heide2,4 1Mercedes-Benz AG 2Algolux 3Ulm University 4Princeton University
7. Sensor and Sensor Fusion Technology in Autonomous Vehicles: A Review -De Jong Yeong 1,2,3,* , Gustavo Velasco-Hernandez 1,2,3 , John Barry 1,2,3 and Joseph Walsh 1,2,3
8. On the Performance of One-Stage and Two-Stage Object Detectors in Autonomous Vehicles Using Camera Data - Manuel Carranza-García * , Jesús Torres-Mateo , Pedro Lara-Benítez and Jorge García-Gutiérrez
9. ADAS: Key Trends on ‘Perception’ - Junko yoshida
10. Challenges of full autonomy for sensing in autonomous vehicles - jeff hecht
11. Yole 图片整理 - yole
12. CMOS图像传感器基础知识和参数理解 - 成都子程电子
作者：Vehicle Pirate Jack
