//@风FA1120:爱老师，最后一步还要再做一下单位转化，不是-20241227190558

文章预览

2024-12-27 19:05 本条微博链接 // @风FA1120 :爱老师，最后一步还要再做一下单位转化，不是直接等于168GB， 而是168 Billion Bytes/ (1024*1024*1024) = 156 GB 【怎么计算跑LLM服务需要多大显存的GPU】 LLama 70B模型进行推算需要多少GPU显存呢？可以按图中的公式进行计算： 对于70B模型： - P = 70 （70B的参数量） - 4B = 4字节/参数 - ………………………………