作者：电子创新网张国斌
汽车自诞生至今已有近140年历史，近几年，随着人工智能，机器学习技术的突破，汽车正迎来140年最大变革---从有人驾驶向无人驾驶演进！不过这个演进过程也充满诸多挑战，目前自动驾驶最大的挑战来自于感知与传感器融合和决策与控制，曾经有很多自动驾驶公司认为即便感知不够强但只要有足够的算力就可以实现完美的自动驾驶，这被称为“弱感知强算力”路线，但是这条路线对算力的无限追求导致汽车出现功耗问题--千瓦级的功耗对EV汽车续航影响极大，现在一家本土公司开辟了一条特别适合中国自动驾驶的新路线--那就是“强感知弱算力”路线！
8月19日，上海叠铖光电超宽光谱图像传感器技术研讨会暨战略合作协议签约仪式在上海嘉定举行，叠铖光电创始人王平博士介绍了叠铖光电研发的超宽光谱图像传感器及其应用案例。
在本次研讨会上，利扬芯片全资子公司光瞳芯与叠铖光电签署了合作协议，叠铖光电的核心技术是“全天候超宽光谱叠层图像传感芯片”，光瞳芯独家为叠铖光电提供超宽光谱叠层图像传感芯片的晶圆异质叠层、测试等工艺技术服务。晶圆异质叠层工艺复杂，必须利用光刻机、刻蚀机、薄膜沉积、晶圆检测等一系列前道及后道半导体设备和工艺，实现晶圆材料改性、键合等多种工艺，最终交付质量合格的超宽光谱叠层图像传感芯片。
利扬芯片CEO张亦锋在签约仪式上表示指出：“叠铖光电全天候超宽光谱叠层图像传感芯片是自动驾驶到无人驾驶的颠覆性创新，四年前认识王平博士的时候就一见钟情并惺惺相惜。利扬芯片专门成立全资子公司光瞳芯与叠铖光电达成独家战略合作，是我们实现一体两翼战略的重要布局，公司将独家为叠铖光电提供超宽光谱叠层图像传感芯片的晶圆异质叠层和测试等工艺技术服务，为无人驾驶方案提供相当于人眼的智慧的眼睛，也期待共同为产业做出我们应有的贡献。”
关于此次合作，利杨芯片已经做了公开披露。
另外，被誉为“牛散常青树”的知名投资人赵建平也签署了对叠铖光电的投资协议。
在今天的研讨会上，地平线、均胜电子、伯镭科技和上汽芯片工程中心等也宣布与叠铖光电合作。
为什么这么多优质企业投资叠铖光电？
这是因为叠铖光电拥有有望彻底颠覆自动驾驶的新产品！据王平博士介绍，叠铖光电超宽光谱图像传感器解决了目前自动驾驶领域视觉传感器遇到的所有挑战，并利用红外等多光谱成像技术，完美实现了对在于雨、雾、烟、霾、雪、尘等极端天气以及炫光逆光暗光等恶劣环境的图像感知，而且，只需要30TOPS的算力就可以实现对数据的处理和融合感知！
这是一段叠铖光电超宽光谱图像传感器应用视频！震撼吧！在完全没有视觉图像的烟雾中，超宽光谱图像传感器可以清晰地提供车辆信息！
据王平博士介绍叠铖光电全天候超宽光谱图像传感器是解决自动驾驶到无人驾驶的革命性创新解决方案，一经问世便得到业内广泛关注，目前已经在环境极其恶劣的矿场应用，在视觉传感器无法感知的环境下，叠铖光电全天候超宽光谱图像传感器能完全感知矿卡。
此外基于对象的光谱特征还可以对图像的材质进行分析，如上图中，可以分析中两人抬的是玻璃！
叠铖光电超宽光谱图像传感器技术揭秘
据王平介绍，上海叠铖光电成立于2021年10月，叠铖致力于用核心技术提升各行业的智慧化感知水平，推动社会进步，并持续不断地为更多的客户创造更大的价值。传感器的发展遵循更可靠、更高效的基本原则。
“在传感器发展的横轴上，从单元探测器到线列探测器、再到面阵探测器、再到叠层立体探测器成为不可逆的发展方向。我们的核心技术是超宽光谱摄像头DC-A3，DC-A3 是由叠铖光电自主研发的新一代车载摄像头，是目前唯一实现了超宽光谱成像的车载摄像头模组，成像波段覆盖范围可达其他可见光摄像头成像波段的12倍以上，并由此带来了革命性的视觉感知能力，可极大地提升各种复杂道路、天气、光照情况下的自动驾驶感知可靠性。”他指出，“多年来，世界范围内的科学家和工程师们投入巨大的力量发明、发展高性能激光雷达、摄像头、红外等各光谱的传感器，并通过算法尝试将各光谱传感器「融合」以应用在L3以上的自动驾驶中。然而，基于各独立传感器的「融合」（含前融合、后融合）带来固有的物理与数学上的矛盾，导致L3以上的自动驾驶目前无法在所有场景和所有车速情况下实现。”
他表示叠铖光电研发独有知识产权的超宽光谱（可见光至远红外）叠层图像传感器，为所有场景和所有车速情况下的自动驾驶提供类似摄像头一样的主传感器。这款多光谱图像传感器在自动驾驶场景的雨天、雾/霾天、太阳逆光、车灯炫光、无光/弱光等经典场景下的成像能力表现优异，超越现有的主流车载摄像头，可极大地提升车辆辅助/自动驾驶系统的全天候安全性和适应性。并且同时带来了视觉感知识别率的提升和对算力资源需求的下降，是当前最适合辅助/自动驾驶需求的视觉传感器。
此外，叠铖的其他多光谱传感器产品还可广泛应用于安防监控、森林防火、工业检测、电力、轨道交通等众多行业，解决其全天候应用的难点问题。
“我认为强感知弱算力才是自动驾驶正确的路线！就像我们人类，如果眼睛不好，即便其他器官再发达，自行走路困难也很大，而且我们的方案所需的算力不高，只要30TPOS就可以实现图像数据的处理和分析，这完全符合当前我国的现状！”他表示。
他总结叠铖光电超宽光谱图像传感器有四大特点：
1、全天候
超宽的成像光谱，为叠铖的传感器提供了卓越的全天候性能，在各种不同的光照条件下(如:夜间弱光、车灯炫光、太阳逆光等)、不同的天气下(如:雨天、雾天、灰尘等)依然能够可靠成像，极大的提升了辅助/自动驾驶感知系统的可靠性和可用性。
2、低算力需求
由于超宽光谱传感器本身卓越的环境适应性，以及比现有传感器提供更多维度的物理特征，它输入到算法网络中数据的有效性大大提高使得感知算法在达到以往相同算法识别率的模型参数量大幅降低(缩小至2%~30%)，可有效降低对车端算力资源的消耗，并且大幅减少辅助/自动驾驶系统对车载动力电池的能量损耗。
3、高识别率
更丰富的多光谱图像数据，提供了更多维度的真实物理参数，即原始数据包含了更多的物理特征和图像特征，(例如视频中的人除了有图像信息，还有体温信息，更容易与其他物体区分识别)，更丰富的特征使得算法对相同目标的识别率直线提升。
4、时空同步无信息矛盾
叠铖的超宽光谱摄像头，作为一个独立的传感器单元，没有时间同步问题，且超宽光谱视频提取出的多通道数据天然空间同步，每一个物体都只有一个时间空间坐标，完全克服了信息矛盾问题。
“尤其是第四点，现在很多高级自动驾驶车辆配备了激光雷达、毫米波雷达视觉传感器，超声波类等多种感知设备，当汽车行驶到颠簸路面时，多个传感器需要定标，不然信号就在时空统计上就出现很大问题。”他指出，“叠铖的超宽光谱图像传感器在单颗芯片上实现了多种光谱信息的提取，完全解决了这个困扰自动驾驶的最大挑战。”
他指出与现有的可见光相机相比，叠铖的多光谱相机具备更宽的光谱维度和更高的图像动态范围，这让每个像素包含更多的信息，从而提供更丰富、更准确的图像数据。
具体可以展开为下面3点：
1、传统的可见光相机通常只能捕捉一个相对窄的光谱范围内的信息。而叠铖的多光谱相机可以同时感知和捕捉多个光谱波段的数据，扩展了可见光图像的维度。不同波段的光谱信息可以提供不同的物理属性和特征，使得多光谱相机能够更全面地理解目标物体的性质和状态。
2、多光谱相机还具备更高的图像动态范围，即它可以捕捉到更广泛的亮度级别。这意味着它在处理高动态范围的场景时能够保持更好的细节和对比度，避免过曝或欠曝的情况出现。
3、叠铖的多光谱相机通过扩展光谱维度和提高图像动态范围，每个像素能够提供更具信息量和准确性的图像数据，从而帮助用户更好地理解和分析监测目标。
他指出叠铖光电超宽光谱图像传感器也可以获得图像的深度信息如下面视频所示，“叠铖光电全天候超宽光谱图像传感器可以很好的获取清晰精准的图像的轮廓信息，因此基于现有的车辆宽度信息就可以通过三角原理获得对象的深度信息，这样就可以精准获得道路上的车辆的距离信息，实现更精准的导航和智驾。”
目前市场也有做多种传感器融合的产品，王博士表示与这些产品相比，叠铖的多光谱相机有很大区别，其他同类型产品从外观上看，其他同类型产品的设备有2个窗口，分别是可见光窗口和红外窗口，背后分别是2套分立的光学镜头和图像传感器，信号由统一的网口输出。
而叠铖的多光谱相机产品，以同样的网口版DC-C3为例，只有一个窗口，可见光和红外光通过同一个窗口进入光学系统，在同一个图像传感器上产生可见光和红外2幅图像，再经过控制电路由统一的网口输出。
他进一步指出，与其他同类型产品从获得的图像上看，其他同类型产品获得的2幅可见红外图像，分辨率不同，视场不一致，图像的中心位置也不一致，无法将两幅图像重叠；在可见图像上检测识别的目标，很可能在红外图像上找到对应，反之亦然。而用叠铖的产品得到的2幅可见红外图像虽然分辨率不同，但视场是完全一致的，图像的中心位置也一致，将一幅图像缩放到另一幅图像的分辨率时，两幅图像是完全重叠的。而同一个物体在2幅图像中是完全对应的。
他进一步解释说从数据的维度看，其他同类型产品获得的2幅图像，虽然看的同一个场景却是2幅孤立的图像；而叠铖的产品获取的2幅图像，由于光路的一致和传感器的一致，在时间和空间维度上都是统一的，所以可以看作是一幅RGBT四通道超宽光谱摄像头DC-A3 的二维图像。算法上，对于RGBT四通道图像，可以利用叠铖的标注软件进行标注，然后进行适当模型的训练，并部署推理。从实验的结果看，由于每个像素的信息由RGB三维拓展到了RGBT四维，有了更多的特征信息，目标识别更准确，所需要的算力更小！
“从底层逻辑上来说，更多维度的信息提取才会提升自动驾驶的精准度，我们看到，特斯拉将灰度信息升级到彩色信息，自动驾驶精准度提升到80%以上，如果采用我们的超宽光谱图像传感器获得6维信息则有望将自动驾驶精度提升到90到100%！”他表示。
看完现场演示，老张非常震撼，老张认为换道超车、降维打击、全面领先是上海叠铖光电超宽光谱图像传感器技术最贴切的描述，据王博士透露目前全球一线的Tier1 厂商如博世、大陆、采埃孚等已经表示与叠铖光电合作的意向，在本次研讨会上，利扬芯片宣布与上海叠铖光电的深度合作就是解决其产品量产问题，未来上海叠铖光电将加快产品上市进程，推进全球自动驾驶发展！
注：本文为原创文章，未经作者授权严禁转载或部分摘录切割使用，否则我们将保留侵权追诉的权利
