盖世汽车讯 如今许多自动驾驶汽车通过两种感知方式同时“观察”路况：摄像头捕捉行人的颜色、纹理及轮廓，而激光雷达（LiDAR）则发射激光脉冲，精确测量行人与车辆的距离。这两种方式相辅相成，所提供的综合信息优于单一传感器单独工作时的表现。

然而，这种组合也存在缺陷。由于融合模型主要基于清晰的日间影像进行训练，它往往倾向于依赖在那种环境下表现最佳的传感器，因此在面对复杂或恶劣工况时可能会失效。例如，雨水会散射激光雷达的光束，而在夜间行驶时，摄像头则需应对黑暗环境及强光眩光带来的挑战。

图片来源：SUTD

据外媒报道，为了解决这一问题，新加坡科技设计大学（Singapore University of Technology and Design, SUTD）的Zhao Na助理教授主导了两项研究，分别构建了不同的模型。在题为《CCF：面向域泛化多模态3D目标检测的互补协同融合》（CCF: Complementary collaborative fusion for domain generalized multi-modal 3D object detection）的研究中，团队调整了检测器对各传感器权重的分配方式，使其能够适应新环境。而在题为《PanDA：自动驾驶中多模态3D全景分割的无监督域自适应》（PanDA: Unsupervised domain adaptation for multimodal 3D panoptic segmentation in autonomous driving）的研究中，他们利用新环境中的无标签数据，帮助模型在进入该环境后实现自适应。

“真正的挑战不仅仅在于噪声的增加，更在于各传感器的可靠性会发生动态变化，”Zhao Na说道，“我们的研究旨在让系统具备超越训练环境的泛化能力，并能根据可用信息的变动，动态调整模型对各个传感器的依赖程度。”

校正检测器的激光雷达（LiDAR）偏差

互补协同融合（CCF）方法始于对问题的诊断。此类检测器通常分别利用各传感器生成候选目标，随后进行融合。研究团队在分析标准检测器的训练过程时发现，激光雷达生成的候选目标与真实物体匹配的频率是摄像头候选目标的37.5倍；而传统的评估方式仅关注最终融合结果，从而掩盖了这一不平衡现象。

返回第一电动网首页 >