Yi技术报告细节分享

写在前面Yi模型很早就发布了，但技术报告昨天才出来。之前分享过Llama2、Baichuan2、Qwen，今天来给大家进行细节分享。Yi模型在开篇就强调了模型设计思路是围绕模型规模、数据规模和数据质量。因此，下面分享内容主要为预训练、微调、长文本能力以及模型深度扩展。Paper: https://arxiv.org/abs/2403.04652预训练阶段数据构造Yi模型在预训练阶段的数据处理流程主要如下图所示，主要是对爬取的网络文本进行数据过滤和去重。数据清洗流程过滤方法：启发式过滤：该方法主要去除质量较低的文本内容。过滤规则包含：（1）根据特殊URL、域名、黑名单词表以及乱码文本进行过滤；（2）根据文本长度、特殊字符比例、短、连续或不完整的行比例；（3）根据重复词语、N-Gram片段、段落的占比；（4）识别和匿名话个人可识别信息，例如：邮箱、电话等。学习式 ………………………………