多模态大模型首次实现像素级推理！3B参数超越72B传统模型，NeurIPS 2025收录

主要观点总结

UniPixel团队提出了首个像素级多模态大模型UniPixel，实现了像素级推理、指代、分割和推理三大任务。该模型具有灵活性、精确性与可扩展性，可实现基于视觉细节信息的交互。其主要技术亮点包括三类视觉提示统一编码、对象记忆体机制和掩码引导推理等。

关键观点总结

关键观点1: UniPixel是首个像素级多模态大模型，可以完成像素级推理、指代、分割和推理三大任务。

该模型由香港理工大学和腾讯ARC Lab的研究团队提出，具有灵活性、精确性与可扩展性。

关键观点2: UniPixel采用三类视觉提示统一编码的方式，支持点、框、掩码三种视觉提示。

通过对象记忆体机制，UniPixel可以存储用户指定的目标区域，实现上下文可控推理。

关键观点3: UniPixel采用掩码引导推理，将理解与分割进行深度融合。

此外，UniPixel还采用了模块化、分阶段的训练策略，构建并整合了多个数据集，涵盖文本、图像和视频三种数据。

关键观点4: UniPixel在多个公开基准测试集上取得领先表现，验证了其有效性。

实验结果表明，UniPixel在分割任务、区域理解任务和PixelQA任务上均表现出卓越的性能。