NeurIPS 2024 让大语言模型使用代码解决图分析推理任务

主要观点总结

本文旨在解决大语言模型在图分析推理任务中的不足，通过编程来提升模型的能力。研究背景包括图数据结构的广泛应用和现有大模型在图分析任务中的缺点。文章提出了让大语言模型通过编写代码解决图分析推理问题的方法，并模仿人类专家的思路，引导模型编写代码。为了提高模型的表现，对开源模型和闭源模型分别进行了指令微调和数据集构建。实验结果表明，通过RAG和指令微调等方法，模型的性能得到了有效提升。文章还提供了新基准数据集ProGraph，用于衡量模型解决复杂图分析推理任务的能力。

关键观点总结

关键观点1: 文章的主要目的是解决大语言模型在图分析推理任务中的局限性。

大语言模型在处理图分析任务时存在推理深度不足、无法处理大规模图数据等问题。本文提出了通过编程来解决图分析推理问题的方法，模仿人类专家的思路，引导模型编写代码。

关键观点2: 为解决大语言模型的不足，采取了多种方法提升模型的能力。

对于开源模型，通过构造问答数据集进行指令微调；对于闭源模型，使用检索增强生成技术提高表现。实验结果表明这些方法有效提升模型的性能。

关键观点3: 文章提供了新基准数据集ProGraph。

ProGraph数据集用于衡量模型解决复杂图分析推理任务的能力。数据集构建考虑了多种Python库的API信息，以评估模型的图分析能力。

关键观点4: 实验结果证明了方法的有效性。

通过对比实验和消融实验，验证了RAG和指令微调等方法的有效性。同时，对开源模型和闭源模型的错误类型进行了统计和分析，为后续优化提供了方向。