全网独家！DeepSeek 模型的成本利润率到底有多高？官方下场公布细节

主要观点总结

DeepSeek首次公布了其模型推理系统R1的优化细节和成本利润率关键信息。文章主要介绍了如何使用大规模跨节点专家并行（EP）增大batch size，隐藏传输耗时，以及进行负载均衡。文章还涉及了线上系统的实际统计数据，包括GPU的占用情况和成本利润分析。

关键观点总结

关键观点1: DeepSeek R1模型推理系统的优化目标

通过大规模跨节点专家并行（EP）提高吞吐量和降低延迟。

关键观点2: EP在模型推理中的应用

EP通过增大batch size和提高GPU矩阵乘法效率来提高吞吐，同时分散专家在不同的GPU上以降低延迟。但EP也增加了系统复杂性，需要设计合适的计算流程和负载均衡策略。

关键观点3: 线上系统的实际统计数据

DeepSeek V3 和 R1 的服务使用H800 GPU，使用FP8和BF16格式保证服务效果。在统计时段内，峰值占用278个节点，平均占用226.75个节点。输入token总数为608B，其中56.3%命中KVCache硬盘缓存。输出token总数为168B，平均输出速率为20~22 tps。

关键观点4: DeepSeek模型推理的成本利润率

DeepSeek官方测算模型成本利润率为545%，意味着在收费服务中，公司能够通过优化成本和定价获得较高的利润。这对于AI从业者来说，意味着在模型推理服务中，优化成本和提高效率是非常重要的。

关键观点5: DeepSeek推理系统的经验借鉴

DeepSeek的推理系统概述文提供了许多有价值的经验，包括使用大规模专家并行、隐藏传输耗时、负载均衡、高效的矩阵计算和传输格式、以及根据负载变化动态调整推理节点数量等。这些经验对于其他AI从业者来说，是在构建和优化模型推理系统时值得借鉴的。