【同济大学】MetaOcc：用于3D占用预测的4D雷达和环视相机融合框架

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2501.15384 代码链接：https://github.com/LucasYang567/MetaOcc 摘要 本文介绍了MetaOcc：用于3D占用预测的4D雷达和环视相机融合框架。3D占用预测对于自动驾驶感知是至关重要的。4D雷达和相机的融合以最低的成本提供了一种鲁棒占用预测的潜在解决方案。如何实现有效的多模态特征融合并且降低标注成本仍然是重大挑战。本项工作提出了MetaOcc，这是一种新型的多模态占用预测框架，它融合了环视相机和4D雷达以实现全面的环境感知。本文首先设计了一种高度自注意力模块，用于从稀疏雷达点中有效地提取3D特征。然后，本文提出了一种局部—全局融合机制，以自适应地获取模态贡献，同时处理时空不一致问题。本文采用时间对齐和融合模块来进一步聚合历史 ………………………………