一文讲明白，大模型显存占用计算方法（单卡状态）

主要观点总结

本文主要介绍了大模型在单卡训练或推理时的显存占用系统分析，包括数据精度、全参训练和推理的显存分析、Lora和Qlora显存分析等。通过掌握这些知识点，可以更好地理解和优化大模型的训练过程。

关键观点总结

关键观点1: 数据精度

了解不同数据精度的含义，如float32、BF16等，以及它们在模型训练中的作用和影响。

关键观点2: 全参训练和推理的显存分析

分析模型权重、梯度、优化器和激活值在训练过程中如何占用显存，以及如何通过混合精度训练等方法优化显存使用。

关键观点3: Lora和Qlora显存分析

理解Lora和Qlora的原理，分析它们在模型训练过程中如何占用显存，以及如何进一步优化显存使用。