专栏名称: GiantPandaCV
专注于机器学习、深度学习、计算机视觉、图像处理等多个方向技术分享。团队由一群热爱技术且热衷于分享的小伙伴组成。我们坚持原创,每天一到两篇原创技术分享。希望在传播知识、分享知识的同时能够启发你,大家一起共同进步(・ω<)☆
今天看啥  ›  专栏  ›  GiantPandaCV

GPTQ & SmoothQuant & AWQ 代码解析

GiantPandaCV  · 公众号  · 3D  · 2024-06-11 19:02
作者丨进击的Killua来源丨https://zhuanlan.zhihu.com/p/697860995编辑丨GiantPandaCV本文主要是对LLM PTQ量化方向的几个经典算法(GPTQ、SmoothQuant、AWQ)的代码实现进行介绍,一方面是为了加深对算法的理解,另一方面也是想看看有什么值得借鉴的地方。一、GPTQGPTQ在LLM量化W4A16方向的地位毋庸置疑,它的出发点很朴素,就是试图最小化权重量化后和量化前的层函数误差,对这个最优化问题进行求解后结果包含二阶的Hessian matrix(海森矩阵),详细数学推理公式见文章HELLO七仔:GPTQ 模型量化,论文见:GPTQ,这里不做详细解释。本质上,它的核心流程其实就是量化-补偿-量化-补偿的迭代,下图可以说明这个过程。本文以GPTQ-for-LLaMa (https://github.com/qwopqwop200/GPTQ-for-LLaMa) 代码仓库为例来讲解GPTQ算法的实现,这个仓库主要是在LlaMa模型上应用GPTQ算法实现权重的4 bit量化。先 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照