多模态大模型到底理不理解文档图表？兼谈RAG如何解决全局摘要问答类问题

今天是2024年4月27日，星期六，单休，北京，天气阴。今天我们来谈谈2个问题，一个是RAG如何应用于全局摘要问答类问题，另一个是最近所关注的图表理解问题，尤其是图表信息抽取，引发了关于大模型是否真正理解图表的疑问，大家可以看看。问题1：RAG如何应用于全局摘要问答类问题我们先来看一类问题，RAG无法回答针对整个文本语料库的全局性问题，例如"数据集中的主要主题是什么？"，因为这本质上是一个以查询为重点的摘要（QFS）任务，而不是一个明确的检索任务。很自然的，这类问题，我们实现做多个聚类，然后建立索引，最后根据query，找到对应的若干个聚类文本，最终再做summary合并即可。因此，这就涉及到聚类的实现以及类簇的选择两个问题。《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》(https://arxiv.org/pdf/2404.16130) 这 ………………………………