南大重磅发布 MindMerger ，突破性方法提升多语言推理能力 ！

文章预览

Abstract 推理能力对于大型语言模型（LLM）至关重要，但在英语和非英语语言之间存在明显的差距。为了弥合这种差异，一些工作对LLM进行微调，以在非英语语言中重新学习推理能力，而其他工作则用外部模型的输出（如英语翻译文本）替换非英语输入，以规避LLM理解非英语的挑战。不幸的是，这些方法往往未能充分利用LLM内置的高超推理和有用的语言理解能力。为了更好地利用LLM中的推理和语言理解能力，作者提出了一种名为MindMerger的新方法，该方法将LLM与来自多语言模型的外部语言理解能力融合在一起，以提高多语言推理性能。此外，还引入了两步训练方案，首先将外部能力嵌入到LLM中，然后训练LLM协同利用外部能力和内置能力。在三个多语言推理数据集和一个语言理解数据集上的实验表明，MindMerger一致优于所有 Baseline ，尤其是在低资源语言 ………………………………