大模型「强崩溃」！Meta新作：合成数据有「剧毒」，1%即成LLM杀手

主要观点总结

本文讨论了合成数据对LLM（大语言模型）的影响，以及合成数据导致的模型崩溃现象。文章介绍了多篇论文的研究结果，包括合成数据的比例和程度对模型崩溃的影响，以及不同模型尺寸在应对模型崩溃方面的表现。同时，文章也探讨了数据混合策略是否能防止LLM崩溃，并介绍了加权数据混合和战略性迭代混合等方法的效果。最后介绍了相关作者的信息。

关键观点总结

关键观点1: 合成数据对LLM的影响及模型崩溃现象

合成数据在训练LLM模型时可能会引发模型崩溃，即模型性能随时间推移逐渐下降直至完全丧失能力。这种现象与合成数据的比例、质量以及模型的大小、设计选择等因素有关。

关键观点2: 合成数据与真实数据的混合策略

文章探讨了通过混合真实数据和合成数据来解决模型崩溃问题的策略，包括加权数据混合和战略性迭代混合等方法。然而，这些方法在实践中可能面临计算密集、难以实现等问题，且并不能完全解决模型崩溃问题。

关键观点3: 模型尺寸对模型崩溃的影响

文章指出，不同的模型尺寸在应对模型崩溃方面表现不同。在某些情况下，使用较大的模型可能有助于应对较高质量的合成数据，但如果数据质量较低，过大的模型反而可能导致更严重的模型崩溃。