神经网络中的量化与蒸馏

前言 本文介绍了深度学习中精简模型的技术：量化和蒸馏。Pytorch训练营，花两个星期彻底掌握代码实现CV各大方向专栏与各个部署框架最全教程整理CV全栈指导班、基础入门班、论文指导班 全面上线!!作者：Aaditya ura来源：DeepHub IMBA仅用于学术分享，若侵权请联系删除深度学习模型，特别是那些具有大量参数的模型，在资源受限环境中的部署几乎是不可能的。所以就出现了两种流行的技术，量化和蒸馏，它们都是可以使模型更加轻量级，而不会对性能造成太大影响。但是它们需要什么，它们又如何比较呢?一、量化:牺牲精度换取效率量化是关于数字精度的。通过减少模型中权重和激活的位宽度，缩小模型大小，从而潜在地提高推理速度。神经网络有相互连接的神经元，每个神经元都有在训练过程中调整的权重和偏差。这些参数值一般存储在32位浮点 ………………………………