ICLR2025 workshop | 浙大&阿里提出FILA：让多模态大模型看清高分辨率图像细节

主要观点总结

文章介绍了MLLM在处理高分辨率图像时面临的问题，特别是在动态裁剪策略中引发的语义碎片化问题。为解决这一问题，研究者提出了FiLA（Fine-Grained Vision Language Model）框架。FiLA通过混合编码器和CVFM深度融合策略，使MLLM能够在处理高分辨率图像时既看到细节又能把握全局。该框架在文档理解、图表分析和细粒度识别等场景表现突出，并在多个通用基准测试中取得领先。

关键观点总结

关键观点1: 问题背景

随着模型如GPT-4o和Gemini的出色表现，大家对MLLM的期待越来越高。但在处理图像时，模型面临对图像中的精细文本和微小细节识别不佳的问题。背后的原因是视觉编码器（如CLIP-ViT）是在低分辨率图像上预训练的。

关键观点2: 现有解决方案及问题

动态裁剪是解决高分辨率图像计算成本高的主流方案，但带来了语义碎片化问题。模型可能只看到被切割的碎片，导致识别和推理错误。

关键观点3: FiLA框架介绍

FiLA框架旨在让MLLM在处理高分辨率图像时，既能看到细节，又能把握全局。它通过混合编码器和CVFM深度融合策略实现。

关键观点4: FiLA的关键技术

FiLA包括混合编码器和CVFM深度融合模块。混合编码器结合了CLIP-ViT和ConvNeXt的优势。CVFM模块实现了深度融合，通过多层交互、特征对齐与融合和稳定训练，有效修复了语义碎片化问题。

关键观点5: FiLA的实验效果

FiLA在多个主流的VLM benchmark上进行了广泛评估，结果显示在细粒度与文档理解任务上大幅领先，通用VLM能力同样出色。

关键观点6: 联系信息

有关最新AI进展的报道，请联系：amos@52cv.net。