小白学大模型：LoRA原理与后续改进

低秩适应（Low-Rank Adaptation，LoRA）可以被认为是一项重大突破，它能够有效地训练大型语言模型以执行特定任务。如今，它在许多应用中被广泛使用，并且已经激发了研究如何改进其主要思想以实现更好性能或更快速地训练模型的工作。在本文中，我将概述一些LoRA的变体，这些变体以不同的方式改进LoRA的能力。我将首先解释LoRA本身的基本概念，然后介绍LoRA+、VeRA、LoRA-FA、LoRA-drop、AdaLoRA、DoRA和Delta-LoRA。unsetunsetLoraunsetunsetLoRA: Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., … & Chen, W. (2021). Lora: Low-rank adaptation of large language models. arXiv preprint arXiv:2106.09685.Low-Rank Adaption (LoRA) 如今被广泛用于训练大型语言模型（LLMs）。大型语言模型具有预测自然语言输入的标记的能力。这是一项令人惊讶的能力，但对于解决许多问题来说，这还不够。大多数情况下， ………………………………