爱可可 AI 前沿推介(6.21)

主要观点总结

本文介绍了五个研究领域的相关工作，包括大型语言模型如何在预训练过程中获取事实知识、大语言模型对齐的代价、通过权重-动量联合收缩实现极端LLM检查点压缩、软标签在数据集蒸馏中的作用以及基于用户需求的基准测试生成引擎。文章详细阐述了每个研究领域的要点和创新点，并给出了相关实验结果和心得。

关键观点总结

关键观点1: 大型语言模型如何在预训练过程中获取事实知识

本文研究了大型语言模型（LLM）在预训练过程中如何获取事实知识。通过向模型注入虚构知识，分析了模型获得事实知识的细致动态，揭示了一些预训练中知识获取的关键行为。实验结果显示，事实知识的获取是通过累积微小获取而实现的，在知识没有再次呈现时会随之遗忘。更大的模型比小型模型可以更有效地获取知识。

关键观点2: 大语言模型对齐的代价

研究了大语言模型对齐的代价。发现强化学习人类反馈等技术虽然可以调整LLM符合人类价值观，并减轻一些问题，但会对模型的创造力和输出多样性产生影响。实验表明，对齐后的模型确定性增强，多样性下降，这对注重创造力的领域如营销和推荐系统意义重大。

关键观点3: 通过权重-动量联合收缩实现极端LLM检查点压缩

提出了一种新的极端检查点压缩框架，该框架可以显著减少大语言模型（LLM）训练检查点所需的存储空间，而几乎无损地保持性能。通过计算相邻检查点之间的残差和动量状态进行联合剪枝，实现了LLM检查点的极端压缩。

关键观点4: 软标签在数据集蒸馏中的作用

深入研究了软标签在数据集蒸馏中的关键作用。实验表明，最先进的蒸馏方法的成功主要源自软标签的使用，而不是用于生成合成图像的具体技术。优化的软标签结构依赖于数据量预算，来自early-stopped experts的软标签包含有利于有限数据学习的结构化信息。

关键观点5: 基于用户需求的基准测试生成引擎

介绍了一个基于用户需求的基准测试生成引擎。该引擎可以根据用户需求生成定制的基准测试，以评估不同语言模型的视觉理解能力。通过维护一个可扩展的视觉概念分类体系和对应的资产，可以编程方式大规模地生成定制的任务实例。