修改一行代码就能实现高效微调！上海交大 & 腾讯开源SaRA：兼顾原始生成和下游任务

主要观点总结

本文提出了SaRA，一种高效的参数微调方法，针对预训练模型中的无效参数进行利用。通过参数重要性分析、稀疏低秩训练、渐进式参数调整策略和非结构化反向传播策略，SaRA能够在多个下游任务上实现优越的模型微调效果。实验证明了SaRA的有效性，并展示了其在图像生成、图像定制和视频生成任务中的出色表现。

关键观点总结

关键观点1: 方法介绍

SaRA是一种针对预训练模型中的无效参数进行利用的参数高效微调方法。通过参数重要性分析，发现预训练模型中的部分参数在生成过程中的作用微乎其微，这些参数的无效性并非模型固有属性，而是由于训练过程中的不稳定性导致。

关键观点2: 核心创新点

SaRA的核心创新点包括：1. 基于核范数的低秩稀疏训练方案，有效约束了学习过程中的参数秩，避免过拟合；2. 渐进式参数调整策略，确保几乎所有参数都能有效地贡献于新任务的学习；3. 非结构化反向传播策略，显著降低了微调过程中的内存成本。

关键观点3: 实验效果

SaRA在多个下游任务上进行了广泛的实验验证，包括基模型能力提升、下游数据微调、图像定制化、可控视频生成等。实验结果表明，SaRA能够提升基础模型在原始任务的生成能力，在下游任务中，能兼顾下游任务的学习以及预训练先验的维护，实现优越的模型微调效果。

免责声明