哈工深提出基于联邦学习的大模型指令微调

MLNLP社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。转载自 | 夕小瑶科技说作者 | 松果引言：面对数据匮乏与隐私挑战的联邦指令调整在当今大语言模型（LLMs）发展中，指令调整被证明对于生成与人类对齐的响应至关重要。然而，收集用于调整的多样化、高质量的指令数据面临挑战，尤其是在隐私敏感领域。联邦指令调整（FEDIT）作为一种解决方案，利用联邦学习从多个数据所有者那里进行学习，同时保护隐私。尽管如此，它仍面临着有限的指令数据和易受训练数据提取攻击的挑战。为了解决这些问题，研究者提出了一种新的联邦算法FEDPIT，该算法利用LLMs的上 ………………………………