腾讯放大招，超Meta！史上参数最大，开源专家混合模型

文章预览

图片来源：由无界AI生成 本文来源：AIGC开放社区 开源大模型领域迎又来一位重磅玩家——腾讯。 腾讯一出手就是个超大模型，开源的Hunyuan-Large是目前市面上最大基于 Transformer架构的专家混合（MoE）模型。一共有3890 亿参数，其中激活参数为 520 亿，具备处理长达256K上下文能力。 根据腾讯公开测试数据显示，Hunyuan-Large不仅超过了社交巨头Meta开源的最新、最大模型LLama3.1 - 405B，并且在激活参数数量显著减少的情况下，实现了高达3.2%的性能提升。在数学、日常推理、文本生成等方面非常优秀。 开源地址： https://github.com/Tencent/Tencent-Hunyuan-Large huggingface： https://huggingface.co/tencent/Tencent-Hunyuan-Large 云开发平台： https://cloud.tencent.com/document/product/851/112032 Hunyuan-Large采用了高效的MoE结构，使用多个专家替换了Transformer中的原始前馈网络。在训练过程中，只有一 ………………………………