【源头活水】NeurIPS 2024 Spotlight | 轻微的预训练数据扰动如何造就更优秀的扩...

文章预览

“ 问 渠 那 得 清 如 许 ， 为 有 源 头 活 水 来 ” ， 通 过 前 沿 领 域 知 识 的 学 习 ， 从 其 他 研 究 领 域 得 到 启 发 ， 对 研 究 问 题 的 本 质 有 更 清 晰 的 认 识 和 理 解 ， 是 自 我 提 高 的 不 竭 源 泉 。 为 此 ， 我 们 特 别 精 选 论 文 阅 读 笔 记 ， 开 辟 “ 源 头 活 水 ” 专 栏 ， 帮 助 你 广 泛 而 深 入 的 阅 读 科 研 文 献 ， 敬 请 关 注！ 在人工智能领域，基础模型(Foundation Models)的预训练数据质量一直被认为至关重要。我们最新的研究《Slight Corruption in Pre-training Data Makes Better Diffusion Models》（轻微的预训练数据扰动如何造就更优秀的扩散模型），第一次全面系统地探讨了这些扰动对模型性能的影响，并提出了一种创新的方法来将数据的“瑕疵”转化为模型性能提升的“助力”。本文延续我们 之前的工作 [1]，发现预训练数据中 ………………………………