联邦学习中基础模型参数高效微调综述

文章预览

基础模型通过在大规模数据集上进行预训练，提供了强大且通用的架构，从而彻底改变了人工智能的发展。然而，将这些庞大的模型适配于具体下游任务通常需要微调，这在计算资源上可能代价高昂。参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）方法通过仅选择性地更新一小部分参数，来应对这一挑战。与此同时，联邦学习（Federated Learning，FL）允许在不共享原始数据的情况下，在分布式客户端之间协作训练模型，使其非常适用于对隐私敏感的应用场景。 本文综述了参数高效微调技术在联邦学习环境中的融合发展。我们将现有方法系统性地分为三大类：一是加性PEFT（引入可训练的新参数）；二是选择性PEFT（仅微调已有参数的子集）；三是重参数化PEFT（通过变换模型结构以实现高效更新）。对于每一类方法，我们分析了其如何应对联邦环境下的 ………………………………