清华&北大&商汤提出 AHMF | 用于注意力预测的自适应混合记忆融合模型，实现更类似人类的注意力预...

主要观点总结

本文提出了一种新颖的驾驶员注意力预测模型，该模型通过结合工作记忆和长期记忆来模拟人类驾驶员的注意力预测机制。模型包括时空调和工作记忆编码、基于注意力的混合记忆融合、领域适应技术等关键部分。实验结果表明，该模型在多个公共数据集上的驾驶员注意力预测性能显著优于现有方法。

关键观点总结

关键观点1: 提出了一种自适应混合记忆融合（AHMF）模型，该模型明确结合了驾驶员的工作记忆和长期记忆，以实现更类似人类的预测。

AHMF模型通过编码当前场景中的特定危险刺激以形成工作记忆，然后自适应地从长期记忆中检索相似情境经验进行最终预测。利用领域自适应技术，该模型在多个数据集上进行并行训练，从而丰富了长期记忆模块中积累的驾驶经验。

关键观点2: AHMF模型在多个数据集上进行实验验证，并与其他最先进的模型进行比较。

实验结果表明，AHMF模型在多种评估指标上均表现出显著优势，特别是在相似性、归一化扫描路径显著性和皮尔逊相关系数等关键指标上，相较于最佳现有方法实现了显著提升。

关键观点3: AHMF模型具有定性的优势，其注意力预测与人类驾驶员的关注度更加对齐。

可视化结果显示，AHMF模型能够关注具有显著帧间变化的动态交通参与者，其预测结果与真实情况紧密对齐。

关键观点4: 进行了消融研究，证明了模型的关键组成部分对于实现最佳性能的重要性。

移除模型的任何关键组成部分都会导致性能下降，这表明每个部分都为提高驾驶员注意力预测的准确性做出了贡献。