DeepSeek-V3另一个厉害点：Mixture-of-Exp-20241228205016

黄建同学 · 微博 · AI · 2024-12-28 20:50

文章预览

2024-12-28 20:50 本条微博链接 DeepSeek-V3另一个厉害点：Mixture-of-Experts (MoE)架构，一种将LLM分割成多个子网络（或称为“专家”）的方法，每个子网络专注于处理输入数据的一个子集，以共同完成特定任务。（1）专家系统：MoE架构包含多个专家，每个专家都是一个独立的神经网络，能够处理特定的任务或数据类型。有多达256个专家，每个专家专注于处理特定任务。（2）动态路由：不是所有的专家都会参与到每一次的计算中 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

爱可可-爱生活 · 【[7星]learning-from-rewards-llm-p-20250510210056

14 小时前

爱可可-爱生活 · 【[367星]HunyuanCustom：腾讯推出的多模态驱动的-20250510171850

18 小时前

爱可可-爱生活 · 【[357星]LegoGPT：从文字描述生成稳定乐高模型的AI神-20250510172304

17 小时前

量子位 · 国内大模型人才大战打响！大厂各出奇招，薪资不设上限、CTO亲自参与指导、无需实习经验

昨天

爱可可-爱生活 · 【[11星]arxiv_daily_aigc：一个AI驱动的ar-20250507191311

3 天前

素食星球 · 七夕的礼物准备好了么？美味的巧克力来喽

9 月前

天津电建 · 中国能建天津电建召开《数智化建设蓝图规划》专项评审会

7 月前

华山穹剑 · 中国又一领域超越美国，歼20迎来全球最强心脏，美媒罕见承认：换装涡扇15后，全面超越F22

3 月前