性能优化44%！浙大提出LiCROcc Radar Occ的春天来了
写在前面 & 笔者的团体了解
语义场景补全（SSC）是智能驾驶感知中至关关键的技术，经常面临天气和照明变动的复杂性。现有战略包含融合多模态信息以增强系统的鲁棒性。雷达作为3D目的检测中关键的传感器，逐渐在智能驾驶运行中取代激光雷达，并且可以提供更鲁棒的感知代替打算。本文们专一于3D雷达在语义场景补全中的后劲，开创了跨模态细化技术，以提高对天气和照明变动的鲁棒性，并增强SSC性能。
在模型架构方面，本文提出了一种三阶段的严密融合方法在BEV上成功点云和图像的融合框架。基于此基础设计了三个跨模态蒸馏模块—CMRD、BRD和PDD。咱们的方法经过将激光雷达和相机的丰盛语义和结构信息蒸馏到 radar-only（R-LiCROcc）和雷达-相机（RC-LiCROcc）的性能中，增强了性能。最后本文提出的LC-Fusion（老师模型）、R-LiCROcc和RC-LiCROcc在nuScenes-Occupancy数据集上取得了最佳性能，其中mIOU区分超越基线22.9%、44.1%和15.5%。
源码链接：
语义场景补全（SSC）作为智能驾驶中的一项关键技术，因其能够提供具体的3D场景信息而遭到了宽泛关注。相机和激光雷达是用于SSC义务最普遍的传感器，每种都有其长处和局限性。相机提供了丰盛的语义高低文，但不足深度信息，并且容易遭到光照和天气条件的影响。而激光雷达提供了准确的3D几何信息，但在处置高度稠密输入时体现不佳，并且由于密集激光雷达传感器的高老本而限度了其宽泛运行。另一方面，雷达作为一种在智能驾驶中越来越受欢迎的、能够抵制顽劣天气条件的传感器，因其车规级设计和可累赘性而遭到注重。虽然雷达在多样化的天气和光照条件下具备鲁棒性，但其稠密和喧闹的测量结果关于大规模户外场景的SSC来说是一个严重应战。
最近的大少数钻研关键集中在基于雷达的检测上。仅有少数钻研探求了雷达传感器在SSC义务中的运行。但是，它们只能经常使用雷达预测极少数类别的占用状况或作为多模态输入的补充。此外，咱们发现虽然雷达在反抗不利天气条件和光照变动方面具备固有的长处，如表I和图1所示，但基于雷达的和基于激光雷达/相机的SSC方法之间依然存在清楚的性能差距。为了处置上述应战，在这项上班中，咱们探求将雷达作为SSC的外围传感器，并设定了新的性能规范。
最开局咱们建设了基于雷达的基线R-SSC-RS。但是由于不足复杂细节，仅依托雷达传感器不可成功高度准确和鲁棒的SSC。为了进一步提高基于雷达的SSC性能，咱们设计了一个相机-雷达融合网络，以有效地将RGB图像的丰盛语义高低文融合到BEV空间中的雷达中。经过这种模式雷达SSC获取了清楚改良。
此外，咱们发现到激光雷达-相机融合在室外SSC中成功了更优的性能，如图1和表I所示，为雷达特色学习提供了贵重的指点。因此，咱们提出了一种基于融合的常识蒸馏方法，从激光雷达-相机融合网络（老师）中提取有信息量的线索，并将它们转移到基于雷达的基线RSSC-RS和雷达-相机融合网络中，从而发生了咱们的方法R-LiCROcc和RC-LiCROcc。
咱们对激光雷达-相机和雷达-相机融合网络驳回了相反的架构。关于基于融合的常识蒸馏模块，咱们联合了跨模态残差蒸馏（CMRD）、BEV相关蒸馏（BRD）和预测散布蒸馏（PDD），以分层模式强迫在校生模型学习老师模型的特色示意和散布。经过这个提出的基于融合的常识蒸馏模块，咱们的LiCROcc仅经常使用雷达（RLiCROcc）成功了与基于相机的方法相当的成绩。此外，LiCROcc经过联合雷达和相机输入（RC-LiCROcc）凑近基于激光雷达的方法的性能，同时在不利的天气条件和夜间视觉才干方面坚持了鲁棒性。
总结来说，本文的关键奉献如下：
如上所述，咱们构建了基于雷达的基线，并设计了雷达-相机融合网络（图2的底部）以优化基线性能。为了应用激光雷达-相机融合中具体的几何结构和点示意的指点，咱们进一步经常使用基于融合的常识蒸馏将常识从激光雷达-相机融合网络（图2的顶部）传递到基于雷达的基线和雷达-相机融合网络。咱们驳回相反的架构，即多模态融合网络，来建设上述两个融合网络。
多模态融合网络关键由图像分支提取图像特色、点分支编码激光雷达/雷达点，以及多模态BEV融合网络高效整合点和图像特色。
基于融合的常识蒸馏模块
在本节中，咱们将具体引见评价数据集和目的、实施概略，以及与最先进方法的性能比拟。此外，咱们还启动了消融钻研，以证实申报融合模块的有效性和蒸馏模块。最后，咱们提供了试验来消弭观察距离的影响和雷达在语义场景成功义务方面的共同长处。
关于激光雷达输入，咱们将10个激光雷达扫描兼并为一个关键帧。ResNet50作为图像骨干来处置输入分辨率为256×704的相机图像。在训练时期，咱们将点云投影到相机视图上，以提供LSS的深度监视。关于雷达输入，咱们驳回CRN中的预处置环节，经常使用汽车上的5个雷达传感器拼接雷达扫描。关于数据增强，咱们对图像随机运行水温和垂直翻转以及裁剪。点云经过在x轴和y轴上随机翻转启动增强。咱们经常使用AdamW优化器，权重衰减为0.01，初始学习率为2e-4。咱们经常使用余弦学习率调度器，在前500次迭代中启动线性预热。一切试验都在8个NVIDIA A100 GPU上启动，总批量大小为32，训练24个周期。
表I展现了与SOTA的比拟结果。与一切先前方法相比，咱们的LiCROcc在相反性能下取得了最佳性能。例如，咱们的激光雷达-相机融合模型LCFusion显示出清楚的改良，与基线（M-CONet）相比，mIoU参与了23%，IoU参与了18%。同时，LC-Fusion在mIoU和IoU得分上区分比PointOCC提高了3.3%和2.3%，这强调了咱们提出的多模态BEV融合的有效性。
为了片面评价咱们提出的方法的有效性，咱们修正了几种现有的基于激光雷达和多模态方法（CONet [4]，SSC-RS，PointOcc和CoOCC），以顺应雷达输入，作为咱们的比拟。如表I的第二局部所示，咱们的R-LiCROcc在mIoU得分上超越了次好的方法（PointOcc）和基线（R-SSC-RS）13.3%，证实了咱们提出的基于融合的常识蒸馏的有效性。咱们发现R-LiCROcc的IoU得分略低于PointOcc。咱们解释说，这可以归因于PointOcc在三个平面上投影特色并经常使用更大的模型，这关于占用预测或者更无利。关于雷达-相机融合，咱们以CONet和CoOCC作为基线。结果显示在表I的第三局部，标明咱们提出的雷达-相机融合版本RC-Fusion曾经到达了与这些基线相当的性能。提出的基于融合的常识蒸馏进一步提高了性能，mIoU和IoU区分提高了1.5和0.8。咱们还提供了可视化结果，在图4中展现了咱们的RC-LiCROcc和R-LiCROcc如何成功更完整的场景补全和更准确的目的宰割。
咱们启动了一系列试验来验证所提出的模块以及雷达作为语义场景补全义务传感器的后劲。一切试验都在相反的训练性能下启动，并依据nuScene-Occupancy [4]验证数据集启动评价。
表III的两局部结果都标明CMRD、BRD和PDD组件清楚增强了性能。其中，PDD在跨模态常识蒸馏中具备最关键的作用，为R-LiCROcc奉献了7.6%的mIoU改良，为RC-LiCROcc奉献了4.9%的mIoU改良。
为了进一步剖析LiCROcc带来的改良，咱们启动了统计剖析，以评价系统在不同距离范围内对语义场景补全的有效性，具体见表IV。咱们区分在[0m, 20m]、[20m, 30m]和[30m, 50m]的语义场景补全中测量了老师模型、在校生模型和R-LiCROcc的IoUs和mIoUs。表IV提醒了常识蒸馏（KD）清楚增强了在校生模型的性能，特意是在短距离区域。幽默的是，咱们发现当从激光雷达-相机融合到基于雷达的模型口头KD时，远程区域的mIoU得分改良远小于远程和中程区域。这一观察标明，由于其相对较短的视觉范围，激光雷达-相机融合的长处随着距离的参与而丢失。值得留意的是，老师和在校生模型在远程区域的性能都严重降低，特意是在mIoU得分上。例如，老师模型在20米内比RC-LiCROcc高出10.96 mIoU。但是，当范围在[30m, 50m]时，这一长处急剧降低到3.76点（简直增加了65%）。
首先，如表V所示，三种传感器类型的天气属性显示出不同水平的鲁棒性。雷达的mIoU从晴天的一天到雨夜仅降低了3.25，而激光雷达和相机的mIoU区分降低了10.33和10.46点。这标明雷达对不利天气和照明条件最为弹性。特意是，在晴天的白昼，老师模型在mIoU得分上比R-LiCROcc高出16.32，比RC-LiCROcc高出7.43。但是，在雨夜条件下，这种长处增加到7.95和5.26，主导性能区分降低了51.3%和29.2%。此外，很清楚nuScenes数据集中的雨并不特意大，造成对激光雷达点云的影响没有预期的那么清楚。在更宽泛的天气条件下审核雷达性能是咱们未来上班的重点。
在晴天的白昼条件下，蒸馏效果带来了最佳性能。R-LiCROcc模型与在校生模型相比，在IoU上提高了2.8%，在mIoU上提高了13.8%。雷同，RC-LiCROcc模型在IoU上参与了3.2%，在mIoU上参与了10.3%。这种增强归因于老师模型在晴天条件下的最佳性能。相反，在雨天和夜晚，激光雷达和相机的能见度遭到侵害，造成在校生模型的增强效果不那么清楚。理想上，R-LiCROcc模型在雨天的性能略有降低。
在本文中，咱们讨论了雷达在语义场景补全（SSC）义务中的运行。咱们首先开发了一个融合网络，该网络整合了点云和图像，并辅以三个蒸馏模块。经过应用雷达的长处并在SSC义务上增强其性能，咱们的方法在不同设置下取得了优秀的成绩。
