NeurIPS'24｜VL-SAM：北大出品，完全无训练的开放式检测分割模型

文章预览

↑ 点击 蓝字  关注极市平台 作者丨VincentLee 来源丨晓飞的算法工程笔记 编辑丨极市平台 极市导读   本文介绍了北大研究团队提出的VL-SAM模型，这是一个完全无训练的开放式检测分割模型，通过结合视觉-语言模型和Segment-Anything模型，使用注意力图作为提示来解决开放式物体检测和分割任务，在长尾实例分割数据集和边缘案例物体检测数据集上表现出良好的性能。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 论文: Training-Free Open-Ended Object Detection and Segmentation via Attention as Prompts 论文地址： https://arxiv.org/abs/2410.05963 创新点 提出了一个无需训练框架 VL-SAM ，将广义物体识别模型（即视觉-语言模型）与广义物体定位模型（即 Segment-Anything 模型）结合起来，以解决开放式物体检测和分割任务。 设计了一个注意力图生成模块，通过头聚合和正则化 ………………………………