对齐全量微调！这是我看过最精彩的LoRA改进

主要观点总结

本文介绍了对齐全量微调的工作LoRA-Pro，它与之前的LoRA-GA互补，通过修改优化器的更新规则使得LoRA的每一步更新都尽量与全量微调对齐。文章还包含了实验结果的展示和关于初始化的讨论。

关键观点总结

关键观点1: LoRA-Pro的工作机制

LoRA-Pro通过对优化器的更新规则进行修改，使得LoRA的每一步更新都尽量与全量微调对齐。它通过对全量微调的梯度进行近似，然后用于Adam优化器的更新方向。

关键观点2: 实验结果

LoRA-Pro在GLUE上的实验结果超过了全量微调的结果。

关键观点3: 初始化讨论

LoRA-Pro的初始化采用了符合直觉的正交初始化，即让初始的A,B是单位阵（的若干倍）。之前的工作LoRA-GA给出的初始化也是正交初始化。