参数更新量仅为LoRA的5%，性能不减反升！南加大提出高效精调法LaMDA

主要观点总结

本文介绍了LaMDA方法，它在参数高效微调技术的基础上，通过引入低维适配器（Low-Dimensional Adapter，LDA）来显著减少大模型（LLMs）微调所需的可训练参数和内存占用。相比之前的参数高效微调方法，如LoRA，LaMDA能够减少更多的参数数量，同时保持或提高模型在多种NLP任务上的性能。文章还介绍了LaMDA++，它是LaMDA的增强版本，通过自适应秩分配策略进一步优化了微调过程。实验结果表明，LaMDA和LaMDA++在多个NLP任务上取得了良好的性能，并且显著减少了可训练参数数量和计算成本。

关键观点总结

关键观点1: LaMDA方法通过引入低维适配器（LDA）来显著减少大模型微调所需的可训练参数和内存占用。

LDA是基于模型嵌入维度的低内在维度理念，通过在模型的适配路径中引入一个低维的可训练方阵来实现参数和内存占用的减少。

关键观点2: LaMDA方法利用奇异值分解进行初始化，并采用逐步冻结策略进行微调。

通过对预训练权重的奇异值分解，利用与最大奇异值对应的奇异向量初始化适配矩阵，并在微调过程中逐步冻结部分参数，以实现模型的高效微调。

关键观点3: LaMDA++通过自适应秩分配策略进一步优化了LaMDA方法。

LaMDA++根据各层的能量分数自适应地分配可训练参数的数量，将更多的参数分配给在预训练权重中具有更高能量成分的层，以提高模型的效率和性能。

关键观点4: 实验结果表明，LaMDA和LaMDA++在多个NLP任务上取得了良好的性能。

实验结果显示，LaMDA和LaMDA++在GLUE基准测试、文本摘要任务以及复杂推理任务等多个NLP任务上取得了与现有微调方法相媲美或更好的性能，并且显著减少了可训练参数数量和计算成本。