LongWanjuan：长文本质量的系统测量

主要观点总结

文章介绍了复旦大学和上海AI实验室的论文'LongWanjuan: Towards Systematic Measurement for Long Text Quality'，强调训练数据质量对增强基础模型长文本能力的重要性。当前缺乏专门评估长文本的系统方法，因此文章提出了从连贯性、凝聚性和复杂性三个维度评估长文本质量的指标，并构建LongWanjuan双语数据集用于增强长文本任务的语言模型训练。文章还介绍了数据集的构建流程，包括数据筛选、指标评估、阈值确定和数据分类等步骤，最终得到包含整体长文本、聚合长文本和混乱长文本的LongWanjuan数据集。

关键观点总结

关键观点1: 训练数据质量对基础模型的长文本能力至关重要。

目前缺乏专门评估长文本质量的系统方法，因此提出了从连贯性、凝聚性和复杂性三个维度进行评估的方法，并构建LongWanjuan双语数据集用于训练。

关键观点2: LongWanjuan数据集的构建流程包括数据筛选、指标评估、阈值确定和数据分类等步骤。

数据集包含整体长文本、聚合长文本和混乱长文本，旨在提高语言模型处理长文本的能力。

关键观点3: LongWanjuan数据集包含1606亿个tokens，其中整体文本占85.7%，聚合文本占13.6%，混乱文本占0.7%。

该数据集旨在提高语言模型在长文本任务上的性能。

文章预览

24年2月复旦大学和上海AI实验室的论文“LongWanjuan: Towards Systematic Measurement for Long Text Quality”。 训练数据的质量对于增强基础模型的长文本能力至关重要。尽管目前人们正在努力通过启发式规则和基于数据多样性和难度的评估来提高数据质量，但仍然缺乏专门用于评估长文本的系统方法。为了解决这一问题，评估三个基本语言维度来系统地衡量长文本的质量：连贯性、凝聚性和复杂性。从上述三个维度考虑，采取一套旨在评估长文本质量的指标，涵盖统计指标和基于预训练语言模型的指标。利用这些指标，构建LongWanjuan双语数据集，专门用于增强长文本任务的语言模型训练，拥有超过 1600 亿个tokens。在LongWanjuan中，将长文本分为整体、聚合型和混乱的类型，从而可以对长文本质量进行详细分析。此外，设计一种数据混合配方，可以策略性地平衡LongWan ………………………………