1-deepseek本地部署

文章预览

1 硬件需求 硬件基本要求 对于不同版本和用途的 DeepSeek 模型，硬件要求有所不同： • DeepSeek R1-Mobile 1.5B：适用于移动端 / 嵌入式设备如手机、树莓派、Jetson Nano 等，使用 ONNX Runtime、TensorFlow Lite 可实现实时响应（ < 500ms）。 • DeepSeek R1-Lite：适用于个人 PC / 边缘服务器，搭配 RTX 3090/4090 等显卡，使用 Ollama、vLLM、Transformers 等工具，显存占用 8-12GB，可实现高吞吐（100+tokens/s）。 ￮ DeepSeek R1-Standard：用于企业级服务 / 科研计算，需要 2×A6000/A100 等硬件，搭配 vLLM、DeepSpeed，显存占用 48-64GB，可进行专业级推理。 • 蒸馏定制版 0.5-7B：适用于垂直领域（金融 / 医疗），可按需选择硬件，通过 Hugging Face+LoRA 实现领域任务优化。 任务管理器查看 不一定要有独立显卡，集成显卡也可以跑通，要求自己的显卡资源显存大小大于所下载的模型大小. 2 ollama安装 Olla ………………………………