仅微调0.02%参数，性能接近全量微调！上海交大推出高效微调统一新范式

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 量子位 作者 | ChouJay Scaling Laws 当道，但随着大模型应用的发展，基础模型不断扩大的参数也成了令开发者们头疼的问题。为了减轻训练负担，Adapter、Prompt-Tuning 以及 LoRA 等高效微调（Parameter Efficient Fine-Tuning, PEFT）算法越来越受到大家伙的青睐。  那么，问题来了—— 尽管近年来高效微调领域发展迅速，涌现了多种方法，但不同 PEFT 方法背后的数学基础几乎没有得到深入研究。此外，不同 PEFT 方法之间的性能差异及其原因尚未系统地探讨。这种理论深度的缺乏限制了研究者对这些方法潜在优势和局 ………………………………