大模型数据建设探索与实践

文章预览

导读   本次分享题目为大模型数据建设探索与实践 。 主要介绍： 1.  从工程化视角看数据建设 2.  预训练数据配比 3.   后训练数据筛选 4.  问答环节 分享嘉宾｜赵宇 博士  中国电信人工智能研究院 大模型数据负责人   编辑整理｜ Kathy 内容校对｜李瑶 出品社区｜ DataFun 01 从工程化视角看数据建设 在当前大模型技术快速发展的背景下，数据对模型效果的影响力日益增强。对于希望从零开始训练一个具有千亿参数规模的大型模型的团队来说，整个任务流程的规划和执行成为了一个重要议题。接下来详细探讨从工程化视角下的数据建设过程，包括数据准备、预训练、后训练以及数据版本的动态调整。 1. 数据准备与训练流程 理想情况下，大模型的训练流程可以分为三个阶段：数据准备、预训练与后训练。然而，实际情况远比这一理想化的模型复杂。 ………………………………