ImageNet-1K压缩20倍，Top-1精度首超60%：大规模数据集蒸馏转折点

机器之心专栏机器之心编辑部该工作是目前唯一实现了大规模高分辨率数据集蒸馏的框架过去几年，数据压缩或蒸馏任务引起了人们的广泛关注。通过将大规模数据集压缩成具有代表性的紧凑子集，数据压缩方法有助于实现模型的快速训练和数据的高效存储，同时保留原始数据集中的重要信息。数据压缩在研究和应用中的重要性不可低估，因为它在处理大量数据的过程中起着关键作用。通过采用先进的算法，数据压缩取得了显著的进展。然而，现有解决方案主要擅长压缩低分辨率的小数据集，这种局限性是因为在双层优化过程中执行大量未展开的迭代会导致计算开销巨大。MBZUAI 和 CMU 团队的最新工作 SRe2L 致力于解决这一问题。该工作是目前唯一实现了大规模高分辨率数据集蒸馏的框架，可以将 Imagenet-1K 原始的 1.2M 数据样本压缩到 0.05M (压缩比 1:20) ………………………………