自我反思助力VLM推理！南大清华提出VLM自训练框架，支持Inference Scaling

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | PaperWeekly 多模态大语言模型（MLLMs）在图像描述、视觉问答等场景有着良好的表现。然而，MLLMs 在需要复杂多模态推理的任务上仍存在不足，多模态思维链（Chain-of-Thought，CoT）推理的性能甚至不如直接回答（Direct QA）。 为提升 MLLMs 在视觉语言推理上的表现，本文主要做了两方面贡献： 1. 构建了一个针对视觉语言场景的 Self-Train 自训练框架，在 STaR 的基础上，以自我反思为核心从错误中学习，提升了 VLM 自我提升的效率； 2. 为 VLM 新增的自我反思机制，让模型在测试时能够采样多条推理路径再选择 ………………………………