分布式/联邦大模型与多模态大模型进展、挑战与未来方向

文章预览

点击上方蓝字关注我们 论文链接： https://arxiv.org/pdf/2503.16585#/ 简介 本论文探讨了分布式大语言模型（LLMs）和多模态大语言模型（MLLMs）的最新进展，分析了它们在计算效率、数据同步、多模态融合等方面的挑战，并提出了应对这些挑战的前沿方法。此外，论文还探讨了未来研究方向，以提高LLMs和MLLMs在实际应用中的性能和可扩展性。 现有关于 分布式/联邦大语言模型 的调研：多项领域特异性研究从不同角度探讨了去中心化大语言模型的现有成果。图1则展示了现有的综述文献在六大分类中的覆盖范围及交叉领域可视化呈现。 1.分布式训练；2.分布式推理与优化；3.分布式计算基础设施；4.FL与微调；5.边缘计算与移动智能；6.分布式系统中的通信效率） 图1：在六个类别及其重叠区域中选定的现有综述论文概述。 大模型的流程 首先对大语言模型（LLM ………………………………