专栏名称: Datawhale
一个专注于AI领域的开源组织,汇聚了众多顶尖院校和知名企业的优秀学习者,聚集了一群有开源精神和探索精神的团队成员。愿景-for the learner,和学习者一起成长。
目录
今天看啥  ›  专栏  ›  Datawhale

DeepSeek突袭公布成本利润率:545%

Datawhale  · 公众号  · AI 科技自媒体  · 2025-03-01 14:59
    

主要观点总结

Datawhale分享 开源周:Day 06,DeepSeek分享了其在线推理系统DeepSeek-V3/R1的设计细节和统计数据。该系统采用了跨节点EP驱动的批量扩展、计算-通信重叠和负载平衡等技术优化吞吐量和延迟。文章还介绍了DeepSeek开源周的前五天成果,包括高效型MLA解码核FlashMLA、专为MoE模型打造的开源EP通信库DeepEP等。此外,文章提到了DeepSeek在线服务的统计数据,包括每个H800节点的吞吐量和成本利润率等。

关键观点总结

关键观点1: DeepSeek-V3/R1推理系统概述

介绍了DeepSeek在线推理系统的设计理念,包括采用跨节点EP驱动、计算-通信重叠和负载平衡等技术实现高吞吐量和低延迟。

关键观点2: 大规模跨节点专家并行(EP)

解释了大规模跨节点专家并行的重要性,以及如何通过预填充-解码分解架构实现冗余路由专家和共享专家的并行处理。

关键观点3: 计算与通信重叠

描述了如何通过「dual-batch」重叠策略和5阶段的pipeline实现通信与计算的无缝重叠。

关键观点4: 负载平衡的实现

解释了如何实现预填充负载平衡器、解码负载平衡器和专家并行负载平衡器,以优化GPU之间的负载分布。

关键观点5: DeepSeek在线服务统计数据

提供了DeepSeek在线服务的统计数据,包括每个H800节点的吞吐量和成本利润率等,并解释了实际收入低于理论收入的原因。


文章预览

 Datawhale分享  开源周:Day 06 ,编辑:机器之心 DeepSeek 官方:如果所有 tokens 全部按照 DeepSeek R1 的定价计算,理论上一天的总收入为 $562,027,成本利润率 545%。但实际上没有这么多收入,因为 V3 的定价更低,同时收费服务只占了一部分,另外夜间还会有折扣。 太突然了! 原来 DeepSeek 也有 One More Thing。 就在所有人以为 DeepSeek 预告的 5 天开源告一段落时,今天中午 12 点 11 分,官方 𝕏 帐号再次更新,宣告「开源周」还在继续。不过这第六天 DeepSeek 并没有开源新的软件库,而是介绍了 DeepSeek-V3/R1 的推理系统。 概述地址:https://github.com/deepseek-ai/open-infra-index/blob/main/202502OpenSourceWeek/day_6_one_more_thing_deepseekV3R1_inference_system_overview.md DeepSeek 的推文中写到,DeepSeek-V3/R1 的推理系统采用了跨节点 EP 驱动的批量扩展、计算 - 通信重叠、负载平衡来实现对吞吐量 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览