【国产显卡评测】基于ChatGLM的推理性能进行评测！

在本次模型评测实验中，本文采用了基于ChatGLM-6B模型和zero-nlp项目单卡在海光DCU Z100 和 寒武纪 MLU370-X8及昇腾310上进行推理性能评测。通过此次评测能更好，更全面的了解国产卡对大模型在实际任务中的表现。下面我们将海光DCU Z100 和 寒武纪 MLU370-X8进行推理性能评测。一、推理代码设置的传参Json为{"prompt": "###Instruction 给我介绍一下苹果公司,300个字   ###Response","max_length":300}海光ChatGLM推理代码：from fastapi import FastAPI, Requestfrom transformers import AutoTokenizer, AutoModelimport uvicorn, json, datetimeimport torchDEVICE = "mlu"DEVICE_ID = "0"MLU_DEVICE = f"{DEVICE}:{DEVICE_ID}" if DEVICE_ID else DEVICEdef torch_gc():    if torch.cuda.is_available():        with torch.cuda.device(MLU_DEVICE):            torch.cuda.empty_cache()            torch.cuda.ipc_collect()app = FastAPI()@app.post("/")async def create_item(request: Request):    glo ………………………………