DeepSeek 开源第 4 天：梁文峰亲自带队，给大模型优化并行策略

文章预览

今天是 DeepSeek 开源第四天，我已经感觉像是陪着那帮搞 AI 的朋友，连轴跑了四场技术马拉松，还是冲刺跑的那种。 我那几个在大厂里搞 AI 的朋友，消息永远是‘在忙’、‘稍等’，好不容易逮着一个问两句，那边回过来的都是‘老板又催了’’、‘大老板临时把汇报会改成了 ds 专题讨论’、‘又要重新评估方案了’……deepseek 把显卡榨干的同时，顺带着把他们也榨干了。 什么“中国团队突破算力封锁”的口号啊，看“deepseek 冲击英伟达”的热闹，只看 star 星标的速度，分钟级速度刷新，就知道其实真正在暴风眼里的是那些搞模型训练的人。不光是国内的大模型团队，包括 openAI、Claude，都被迫体验了这把柴烧起来的滋味儿。 我也陪着这帮朋友跑，所以按照惯例，和大家聊聊今天的主角，分别是 DualPipe 和 Expert Parallelism Load Balancer (后面简称 EPLB) ………………………………