改变LoRA的初始化方式就能显著提升微调效果

随着大模型的参数量日益增长，微调整个模型的开销逐渐变得难以接受。为此，北京大学人工智能研究院张牧涵团队论文PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models，提出了一种名为PiSSA的参数高效微调方法，在主流数据集上都超过了目前广泛使用的LoRA、QLoRA的微调效果。北京大学人工智能研究院博士生孟繁续为论文第一作者，人工智能研究院助理教授张牧涵为通讯作者。论文标题：PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models论文链接：https://arxiv.org/pdf/2404.02948.pdf代码链接: https://github.com/GraphPKU/PiSSA一、PiSSA：一种参数高效微调方法如图1所示，PiSSA(图1c)在模型架构上和LoRA[1]完全一致(图1b)，只是初始化Adapter的方式不同。LoRA使用高斯噪声初始化，使用初始化。而PiSSA使用主奇异值和奇异向量(Principal Singu ………………………………