ScVLM：提升语言模型对驾驶安全关键城市事件的理解,减少 VLMs 幻觉提升安全性 ！

文章预览

ADAS  Laboratory 点击上方 蓝字 关注  智驾实验室           加入【 智驾实验室 】交流群， 获取更多内容和资料 准确识别、理解和描述驾驶安全关键事件（SCEs），包括碰撞和近碰撞事件，对于交通安全、自动驾驶系统以及先进驾驶员辅助系统的研究与应用至关重要。 由于SCEs是罕见的事件，大多数通用视觉语言模型（VLMs）并未充分训练以将SCE视频与叙述进行关联，这可能导致幻觉和关键安全特征的遗漏。 为了应对这些挑战，作者提出了一种混合方法ScVLM，它将监督学习和对比学习相结合，以提高VLMs对驾驶视频的理解和事件描述的合理性。 所提出的方法在第二战略公路研究计划自然驾驶研究数据集（包含8,600多个SCEs的公开可访问驾驶数据集，其中包含视频和SCE标注）上进行训练和评估。 结果表明，所提出的方法在生成上下文准确的事件描述方面 ………………………………