聊聊 MOE + LoRA 微调新方式

作者丨无恶不作来源丨https://zhuanlan.zhihu.com/p/686851113编辑丨GiantPandaCV1.背景介绍随着大语言模型（LLMs）的火爆发展，相应的微调技术也随之不断迭代。业界最近接连推出以 MOE（Mixture-of-Experts） + LoRA（Low-Rank Adaptation）组成的高效微调（PEFT）方案。相比于 MOE 通过设立多个独立的专家来学习任务特定的知识，并通过 gating 函数来调节每个专家的贡献；LoRA 技术通常微调一部分参数，同时保持预训练的 LLM 参数不变，通过使用低秩矩阵减少训练参数。可以说两者的结合有效解决了微调领域中多任务集数据冲突问题，在微调效果和成本上做到了新的高度。2. LLaVA-MoLE2.1 摘要LLaVA-MoLE 提出了一种高效的专家混合（MoE）设计，它是一种用于指令微调 MLLM 的稀疏低秩自适应（MoLE）的混合。在 Transformer 层内，我们通过为 MLP 层创建一组专门用于 LoRA 的专家，扩展了 Lo ………………………………