大模型参数高效微调技术原理综述（六）-MAM Adapter、UniPELT

文章预览

随着，ChatGPT 迅速爆火，引发了大模型的时代变革。然而对于普通大众来说，进行大模型的预训练或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科研人员或者普通开发者有机会尝试微调大模型。 因此，该技术值得我们进行深入分析其背后的机理，本系列大体分七篇文章进行讲解。 大模型参数高效微调技术原理综述（一）-背景、参数高效微调简介 大模型参数高效微调技术原理综述（二）-BitFit、Prefix Tuning、Prompt Tuning 大模型参数高效微调技术原理综述（三）-P-Tuning、P-Tuning v2 大模型参数高效微调技术原理综述（四）-Adapter Tuning及其变体 大模型参数高效微调技术原理综述（五）-LoRA、AdaLoRA、QLoRA 大模型参数高效微调技术原理综述（六）-MAM Adapter、UniPELT 大模型参数高效微调技术原理综述（七）-最佳实践、总结 本文为大模型参数高 ………………………………