PixelRefer ：让AI从“看大图”走向“看懂每个对象”

主要观点总结

本文主要讨论了多模态大模型在图像和视频理解方面的现状，特别是其场景级理解的局限性。为了克服这些局限，浙江大学、达摩院、香港理工大学联合提出了一种名为PixelRefer的解决方案。PixelRefer是一个统一的时空像素级区域级理解框架，可实现任意粒度下的精细视觉指代与推理，并在多项像素级细粒度理解任务中取得领先性能。该框架通过结合全局视觉token、像素级区域token和文本token，实现了区域理解的同时保留通用模型的通用理解能力。文章还介绍了PixelRefer的设计原理、实现方法、数据集、性能结果以及应用前景。

关键观点总结

关键观点1: 多模态大模型在图像理解、视频分析上的表现及局限性。

当前的多模态大模型虽然在图像和视频理解方面表现出色，但主要停留在场景级理解，难以满足现实任务对细粒度、对象级的详细理解的需求。

关键观点2: PixelRefer框架的介绍和特点。

PixelRefer是一个统一的时空像素级区域级理解框架，通过结合全局视觉token、像素级区域token和文本token，实现任意粒度下的精细视觉指代与推理。它在多项像素级细粒度理解任务中取得领先性能。

关键观点3: PixelRefer的实现方法和设计原理。

PixelRefer通过两种框架实现像素级细粒度理解：Vision-Object Framework和Object-Only Framework。其中，Scale-Adaptive Object Tokenizer是核心组件，用于生成精确、紧凑、语义丰富的对象表示。

关键观点4: PixelRefer的性能结果和应用前景。

PixelRefer在图像和视频像素级细粒度理解方面达到领先水平，并且在多个benchmark上表现优秀。其应用前景广泛，包括自动驾驶的时序场景识别、医疗影像的病灶级理解、智能视频剪辑与监控等。