DeepSeek突袭公布成本利润率：545%

主要观点总结

Datawhale分享 开源周：Day 06，DeepSeek分享了其在线推理系统DeepSeek-V3/R1的设计细节和统计数据。该系统采用了跨节点EP驱动的批量扩展、计算-通信重叠和负载平衡等技术优化吞吐量和延迟。文章还介绍了DeepSeek开源周的前五天成果，包括高效型MLA解码核FlashMLA、专为MoE模型打造的开源EP通信库DeepEP等。此外，文章提到了DeepSeek在线服务的统计数据，包括每个H800节点的吞吐量和成本利润率等。

关键观点总结

关键观点1: DeepSeek-V3/R1推理系统概述

介绍了DeepSeek在线推理系统的设计理念，包括采用跨节点EP驱动、计算-通信重叠和负载平衡等技术实现高吞吐量和低延迟。

关键观点2: 大规模跨节点专家并行（EP）

解释了大规模跨节点专家并行的重要性，以及如何通过预填充-解码分解架构实现冗余路由专家和共享专家的并行处理。

关键观点3: 计算与通信重叠

描述了如何通过「dual-batch」重叠策略和5阶段的pipeline实现通信与计算的无缝重叠。

关键观点4: 负载平衡的实现

解释了如何实现预填充负载平衡器、解码负载平衡器和专家并行负载平衡器，以优化GPU之间的负载分布。

关键观点5: DeepSeek在线服务统计数据

提供了DeepSeek在线服务的统计数据，包括每个H800节点的吞吐量和成本利润率等，并解释了实际收入低于理论收入的原因。