高手都是这么读论文 | 立足于 LoRA 原始论文，从一个全新的视角看待 LoRA，并应用和部署落地 LoRA ！

LoRA已成为一种首选的方法，用以高效地适应大型语言模型（LLM），其简便性和有效性令人瞩目。本文档扩展了原始LoRA论文，提供了最初未讨论的新视角，并展示了一系列在规模化部署LoRA时的见解。在不引入新实验的情况下，作者旨在提高对LoRA的理解和应用。1 Additional InsightsOn Comparison尽管LoRA原始论文与各种替代方法进行了比较，但它并没有完全解释为什么作者要以这种方式设计LoRA，或者它是如何解决其他方法中产生的挑战的。回到2020年，主流的参数高效适配技术是Adapter [1]。这种方法在每个Transformer [2]层中顺序集成两个适配模块，一个在注意力模块之后，另一个在前馈模块之后。这不仅会导致额外的推理延迟，特别是在LoRA研究中强调的小批量大小情况下，而且还会导致网络深度的显著增加。作者从经验上观察到，这种增加通常会导致训练不稳 ………………………………