微调语言模型学到的知识是权重空间里的一块区域（建议阅读）

Knowledge is a Region in Weight Space for Finetuned Language Models微调语言模型学到的知识是权重空间里的一块区域‍‍‍‍‍‍‍‍‍‍‍‍‍‍在EMNLP看poster发现的一篇论文，算是所有中poster的论文里最有意思的之一了，给大家分享一下，很多点都比较有趣，建议看完，因为我已经听了作者以及看了论文可能总结比较跳跃，建议前往原文。作者在这篇文章中通过研究不同模型的权重空间与底层loss landscape来研究不同模型之间的关系，尤其是在不同数据集上训练或测试的模型（其中每个模型都用一个权重n维实数向量θ表示）。具体而言他们展示了微调模型在权重空间中处在一块清晰的区域，反过来说，所有在该区域的模型都展示了很好的效果。尤其是，作者发现在同一个数据集上训练的语言模型在权重空间中紧密地聚集在了一起，而在同一种任务的不同数据集 ………………………………