大模型量化压缩是条歧路

文章预览

爱因斯坦校友提出的Transformer简化方案是条歧路 中，笔者给出一条重要判断： “简化Transformer模块”去除"投影或值参数(Projection or Value Paramerters)"的行为，是小模型思维，容易导致大模型褪化成小模型。各种量化剪枝降低精度的行为都适用这一判断。降参数降精度是一条歧路。   来自牛津大学和Google DeepMind的最新论文 “Transformer需要戴眼镜！语言任务中的信息过度压缩”【文献1】，论证了这一判断。 学者们研究了信息如何在Decoder-only Transformer中传播，这是大多数现有前沿大语言模型(LLM) 的主要神经网络架构。 研究方法是理论信号传播分析，通过分析Transformer 最后一层中最后一个词元（token）的表征，揭示了一种表征塌缩的现象：某些不同输入序列可以在最终词元中产生任意接近的表征。 现代LLM 中经常使用的低精度浮点格式加剧了这种影响，会导 ………………………………