地平线& 港大最新端到端进度！HE
写在前面&笔者的团体了解
本文提出了HE-Drive：首个模拟人类驾驶为外围的端到端智能驾驶系统，旨在生成同时具有期间分歧性和温馨性的轨迹。近期钻研标明，基于模拟学习的布局器和基于学习的轨迹评分器能够有效生成并选用高度模拟专家演示的准确轨迹。但是这类轨迹布局和评分器面临生成期间不分歧且不温馨的轨迹的困境。为了处置上述疑问，HE-Drive首先经过稠密感知提取关键的三维空间示意，这些示意随后作为条件输入，传递给基于条件去噪分散概率模型（DDPM）的静止布局器，生成具有期间分歧性的多模态轨迹。随后，基于视觉言语模型（VLM）疏导的轨迹评分器从这些候选轨迹当选用最温馨的轨迹来控制车辆，确保类人的端到端驾驶体验。试验结果标明，HE-Drive在nuScenes和OpenScene数据集上成功了SOTA功能（即比VAD缩小了71%的平均碰撞率）和效率（即比SparseDrive快1.9倍），同时在实在环球数据中提供了最温馨的驾驶体验。
总结来说，本文的关键奉献如下：
图1：本文展现了HE-Drive，这是首个类人端到端驾驶系统。HE-Drive将多视角传感器数据作为输入，并在复杂场景中输入最优行驶门路。
端到端范式将感知、布局和轨迹评分义务集成到一个一致模型中，以布局目的启动优化，最近在推进智能驾驶技术开展方面展现了清楚的后劲（图1a）。最新钻研提出了基于模拟学习的静止布局器，它们经过大规模驾驶演示学习驾驶战略，并经常使用基于学习的轨迹评分器从多个预测候选轨迹当选用最安保、最准确的轨迹来控制车辆。但是，虽然现有的布局器和评分器在预测准确性方面取得了清楚进度，它们仍面临生成期间不分歧轨迹的应战，即延续的预测在期间上不稳固且不分歧，以及选用不温馨轨迹的疑问，这些轨迹体现为延续制动，造成车辆进度或过大的转笔挺率。
本文提出了HE-Drive，这是首个以类人驾驶为外围的端到端智能驾驶系统，旨在处置上述两个疑问，如图2所示。详细而言，本文发现由基于模拟学习的布局器生成的轨迹在期间分歧性方面存在的疑问关键源于两个要素：期间相关性和泛化才干。首先，这些布局器依赖帧过去几秒的消息来预测未来轨迹，疏忽了延续预测之间的相关性。其次，它们的功能遭到离线搜集的专家轨迹品质的限度，造成在系统灵活变动和散布外形态下，所学的战略缺乏应答未见场景的泛化才干。受分散战略在机器人操作中取得成功的启示，该战略驳回视觉条件的分散模型来准确示意多模态散布以生成举措序列，本文提出了一种基于分散的布局器，能够生成具有强期间分歧性的多模态轨迹。
此外，造成预测轨迹不温馨的关键要素在于次优轨迹评分器不可成功继续评价，并且缺乏权衡轨迹温馨度的通用目的。近期钻研标明，基于学习的评分器在闭环场景中不如基于规定的评分器，然后者因为依赖手工设计的后处置模式，泛化才干有限。其余钻研者探求了经常使用视觉言语模型（VLMs）来感知周围代理的静止和交通示意，从而选择下一步执行。但是，间接将VLMs作为驾驶决策者面临解释性差和重大幻觉疑问。为了处置这些疑问，本文提出了一种陈腐的轨迹评分器和通用的温馨度目的，结合了基于规定评分器的可解释性与VLMs的顺应性，能够依据驾驶格调（例如，保守或保守）启动调整，从而成功继续评价。
综上所述，HE-Drive是一种陈腐的以类人驾驶为外围的端到端智能驾驶系统。该系统应用稠密感知技术，经过稠密特色来检测、跟踪并映射驾驶场景，生成三维空间示意。这些示意作为条件输入到基于分散的静止布局器中，该布局器由条件去噪分散概率模型（DDPM）驱动。最后，基于视觉言语模型（如Llama 3.2V）疏导的轨迹评分器从候选轨迹当选用最温馨的轨迹来控制车辆，确保类人格调的端到端驾驶体验。
端到端智能驾驶旨在间接从原始传感器生成布局轨迹。在该畛域，依据其评价方法对提高启动了分类：开环和闭环系统。在开环系统中，UniAD提出了一个一致的框架，该框架将全栈驱动义务与查问一致接口集成在一同，以改善义务之间的交互。VAD提高了布局的安保性和效率，其在nuScenes数据集上的功能证实了这一点，而SparseDrive应用稠密示意来减轻模块化系统中固有的消息失落和失误流传，提高了义务功能和计算效率。关于闭环评价，VADv2经过概率布局推进了矢量化智能驾驶，经常使用多视图图像生成车辆控制的举措散布，在CARLA Town05基准中体现杰出。
分散模型用于轨迹生成
分散模型最后在图像分解中备受赞誉，现已被奇妙地用于轨迹生成。基于Potential的分散静止布局经过经常使用学习到的势函数来构建实用于错乱环境的自顺应静止布局，进一步增强了该畛域，展现了该方法的可裁减性和可转移性。NoMaD和SkillDiffuser都提出了一致的框架，区分简化了面向目的的导航和基于技艺的义务执行，其中NoMaD成功了更好的导航结果，SkillDiffusion成功了可解释的初级指令遵照。总之，分散模型为基于模拟学习的端到端智能驾驶框架的轨迹布局提供了一种有前景的代替方案。因为固有的因果混杂，模拟学习模型或许会失误地将驾驶员的行为归因于失误的因果要素。相比之下，分散模型可以经过学习场景特色和驾驶员举措在潜在空间中的联结散布，更好地捕捉潜在的因果相关，使模型能够正确地将实在要素与适当的举措相关联。
轨迹评分在智能驾驶决策中起着至关关键的作用。基于规定的方法提供了强有力的安保保障，但缺乏灵敏性，而基于学习的方法在开环义务中体现良好，但在闭环场景中体现不佳。最近，DriveLM将VLM集成到端到端的驾驶系统中，经过感知、预测和布局问答对对对图结构推理启动建模。但是，大型模型的生成结果或许蕴含幻觉，须要进一步的战略来安保运行于智能驾驶。VLM的产生提出了一个疑问：VLM能否依据轨迹评分器自顺应地调整驾驶格调，同时确保温馨性？
HE Drive首先驳回视觉编码器从输入的多视图相机图像中提取多视图视觉特色，示意为F。随后稠密感知同时执行检测、跟踪和在线地图义务，为周围环境提供更高效、更紧凑的3D示意（见图2）。
基于分散模型的静止布局
图2展现了咱们基于分散的静止布局器的全体流程。咱们驳回基于CNN的分散战略作为基础，该战略由一个由1D卷积层、上采样层和FiLM（特色线性调制）层组成的条件U-Net组成。
静止布局器分散战略：本文的方法（图7）驳回了条件去噪分散概率模型（DDPM），这是一个经过参数化马尔可夫链定义的生成模型，经常使用变分推理训练来模拟条件散布p（At | Ot）。DDPM由一个正向环节和一个反向环节组成，正向环节逐渐将高斯噪声增加到输入数据中，将其转换为纯噪声，反向环节迭代地对噪声数据启动去噪以恢还原始数据。
大模型指点下的轨迹评分
为了从DDPM生成的多模态轨迹当选用最适合的门路，咱们引入了VLMs制导轨迹评分器（VTS），如图3所示。据咱们所知，VTS是第一个结合了可解释性和零样本驾驶推理才干的轨迹评分器。经过应用视觉言语模型（VLM），悉尼威立雅运输公司可以依据各种驾驶要素（如碰撞概率和温馨度）有效地评价轨迹，从而成功透明的决策和对新驾驶场景的顺应性，而无需启动宽泛的微调（即永恒评价）。
图4：Llama 3.2V在nuScenes上的定性结果。本文展现了疑问（Q）、高低文（C）和答案（A）。经过结合环顾图像和文本数据，基于规定的评分器经过针对性的权重修正，成功了驾驶格调的微调。
图5：(a) 和 (b) 展现了轨迹生成和评分环节，其中(a) 中的灰色轨迹示意为最优门路，基于最低老本规范被选中用于车辆控制。
图6：(a) 显示了HE-Drive与两个基线模型在实在环球数据中温馨度目的的比拟结果；(b) 显示了HE-Drive在闭环数据集OpenScene上的效率目的比拟结果。
本文引见了HE-Drive，一种陈腐的以类人驾驶为外围的端到端智能驾驶系统，旨在处置现有方法在成功期间分歧性和乘客温馨度方面的局限性。HE-Drive集成了稠密感知模块、基于分散的静止布局器以及Llama 3.2V疏导的轨迹评分系统。稠密感知模块经过一致检测、跟踪和在线映射，成功了齐全稠密的场景示意。基于分散的静止布局器在延续空间中生成多模态轨迹，确保期间分歧性并模拟人类的决策环节。轨迹评分模块结合了基于规定的方法和Llama 3.2V，优化了系统的泛化才干、可解释性、稳固性和温馨度。宽泛的试验标明，HE-Drive在放开环和闭环数据集上相较于最先进的方法体现杰出，生成了具有更好期间分歧性和乘客温馨度的类人轨迹。
