ICCV 2025 | 告别复杂解码器！HiMTok 赋能大模态模型，粗到精掩码生成刷新分割 SOT...

主要观点总结

本文介绍了新研究《HiMTok: Learning Hierarchical Mask Tokens for Image Segmentation with Large Multimodal Model》，该研究通过使用分层令牌让大模型轻松学习图像分割能力。文章涵盖了研究背景、传统分割方法的不足、HiMTok的核心思想、训练方法和实验效果。

关键观点总结

关键观点1: 研究背景

虽然大模型在图像理解和文字理解方面表现出色，但在图像分割方面仍有困难，特别是在复杂物体识别和高效处理方面存在挑战。

关键观点2: 传统分割方法的不足

传统图像分割方法要么精度不够，要么架构复杂，无法充分发挥大模型潜力。

关键观点3: HiMTok的核心思想

将图像分割掩码转换为一种“语言”，通过分层令牌传递信息，让大模型以序列学习方式掌握图像分割。

关键观点4: 训练方法和特点

采用三阶段训练方案，结合掩码标记器、向量量化层和掩码解标记器，利用因果注意力机制和分层掩码损失，提高大模型的图像分割能力。

关键观点5: 实验效果

HiMTok在多个权威测试中表现出色，特别是在指代表达分割、推理分割和开放词汇分割等方面有惊艳表现，并顺带提升了定位能力。

关键观点6: 论文推广信息

鼓励高校实验室或个人在平台上分享论文解读，介绍论文推广渠道PaperEveryday，帮助论文被更多人了解。