ICLR 2024 | 根据压缩比率控制生成样本难度，NUS等提出首个无损数据集蒸馏方法

©作者 | 郭子尧单位 | 新加坡国立大学数据集蒸馏旨在以生成的方式将一个大的数据集压缩成一个小的数据集。得益于生成数据的高信息密度，在压缩率较高时，数据集蒸馏的效果远超数据集剪枝等其他数据压缩方法。然而，随着压缩率的逐渐降低，现有数据集蒸馏方法的效果逐渐变差，甚至弱于从原数据集中随机选取等量数据。这导致现有数据集蒸馏方法局限于高压缩率场景，无法实现对原数据集的无损压缩。在本文中，作者分析了生成数据的难易以及其对压缩效果的影响，发现应该根据压缩比率控制生成数据的难易。通过应用这一策略，作者提出了第一个可以在低压缩率保持有效的数据集蒸馏方法，并首次实现了无损数据集蒸馏。论文标题：Towards Lossless Dataset Distillation via Difficulty-Aligned Trajectory Matching论文地址：https://arxiv.org/abs/2310.05773代码 ………………………………