微软发布自动数据集构建方法！大模型性的能突变分析！通过并行解码扩展大模型的上下文长度

文章预览

前言： 平淡无奇的一天又来了，今天要分享的内容主要是关于大模型、大语言模型、预训练的，喜欢的小伙伴赶紧去阅读相关论文吧。 1. 自动数据集构建(ADC)：样本收集、数据整理和 beyond   标题： Automatic Dataset Construction (ADC): Sample Collection, Data Curation, and Beyond   机构： 微软、浙江大学、Amazon   作者： Minghao Liu,  Zonglin Di,  Jiaheng Wei   分析： 本文提出了一种自动数据集构建的创新方法，通过利用语言模型进行详细类设计和代码生成，可以大大降低数据集创建的成本和提高效率。尽管该方法存在一些问题，如标签错误和数据分布的不平衡，但无疑为数据集的快速创建提供了新的思路。这使得该方法具有很高的工业应用价值。   地址： https://arxiv.org/pdf/2408.11338 2. 大模型的参数功能映射研究——突变分析   标题： Mutagenesis screen to map the functionals ………………………………