寻找高质量数据：对“确定性”的实践探寻和思考

#导语#在生成式人工智能时代，模型的能力很大程度上可以反映出其训练数据的质量，这也无疑凸显了高质量数据在大模型训练和应用中不可替代的重要性。然而面对“如何建设高质量数据”的问题，我们面临着两种不同的路径：一是由政府主导，“集中力量办大事”，制定高质量数据标准，统筹建设高质量语料库；二是基于政府和社会力量的市场化分工协同，尊重产业实践和技术判断，以训练语料实际对模型的贡献来验证数据的价值。本文将围绕高质量数据的形成过程、在大模型训练中的应用和对模型能力的提升等方面，尝试给出我们的建议与判断。一、高质量数据的重要性在生成式人工智能时代，模型训练的成功与否与所依赖的数据质量息息相关。由于高质量数据可以更好地模拟客观世界，用这些作为训练数据可以增强模型能力。从技术层面 ………………………………