阿里多模态检索智能体，自带o1式思考过程！复杂问题逐步拆解，动态调整下一步检索策略

文章预览

OmniSearch团队 投稿 量子位 | 公众号 QbitAI 多模态检索增强生成 （mRAG） 也有o1思考推理那味儿了！ 阿里通义实验室新研究推出自适应规划的多模态检索智能体。 名叫 OmniSearch ，它能模拟人类解决问题的思维方式，将复杂问题逐步拆解进行智能检索规划。 直接看效果： 随便上传一张图，询问任何问题，OmniSearch都会进行一段“思考过程”，不仅会将复杂问题拆解检索，而且会 根据当前检索结果和问题情境动态调整下一步检索策略 。 相比传统mRAG受制于其静态的检索策略，这种设计不仅提高了检索效率，也显著增强了模型生成内容的准确性。 为评估OmniSearch，研究团队构建了全新 Dyn-VQA数据集 。 在一系列基准数据集上的实验中，OmniSearch展现了显著的性能优势。 特别是在处理需要多 步推理、多模态知识和快速变化答 案的问题 时，OmniSearch相较于现有的 ………………………………