NeurlPS 2022 | 全新大模型参数高效微调方法SSF：仅需训练0.3M的参数，效果卓越

近期，由新加坡国立大学和字节跳动联合发表的论文入选 NeurIPS 2022。该论文提出了一个全新的、针对大模型训练的参数高效微调方法 SSF（Scaling & Shifting Your Features)，可简洁、高效、零开销实现参数微调。论文地址：https://arxiv.org/abs/2210.08823代码地址：https://github.com/dongzelian/SSF 一、大模型训练调参：开销和性能不可兼得？随着数据驱动的方法在深度学习界的普及，数据集规模和模型规模都有了巨大的爆发。业界倾向于探索大模型，然后在下游任务中采用这些预训练的模型，以获得更好的性能和更快的收敛。然而，目前的程序严重依赖于全面微调，即更新模型的所有参数。这不可避免地导致模型对小的目标数据集过度拟合，继而在微调后不能用于其他任务。因此，设备需要为每个任务保存一套专门的模型参数，造成了巨大的存储空间，特别是对于如 ………………………………