腾讯混元TurboS技术报告首次全公开：560B参数混合Mamba架构，自适应长短链融合

主要观点总结

腾讯混元团队发布了大模型报告，介绍了其最新模型TurboS的特点和性能。该模型融合了Mamba架构和Transformer架构，拥有自适应长短思维链机制，在多个基准测试中表现优秀。报告还涵盖了模型的技术细节、创新点和应用前景。

关键观点总结

关键观点1: 模型概述

腾讯混元TurboS是业界首个大规模部署的Transformer-Mamba专家混合（MoE）模型，融合了Mamba架构和Transformer架构，实现了性能与效率的提升。

关键观点2: 技术特点与创新

模型采用自适应长短思维链机制，能够根据问题复杂度动态切换快速响应模式与深度思考模式。同时，模型在预训练和后训练阶段采用了多项创新技术，如退火阶段、长上下文预训练策略等。

关键观点3: 性能表现

腾讯混元TurboS在LMSYS Chatbot Arena上获得高分，并在多个基准测试中平均得分达到业界领先水平。

关键观点4: 自适应CoT的推理效率

在评估推理成本效益时，腾讯混元TurboS实现了最具成本效益的输出生成，证明了其自适应长短思维链融合方法的有效性。

关键观点5: 活动推荐

推荐参加AICon 2025大会，了解AI技术前沿和行业落地应用，聚焦技术与应用深度融合的多个话题。

文章预览

日前， 全球 权威 大模型 公开竞技场- Chatbot Arena 评测榜单公布最新排名 ，腾讯 混元旗舰大语言模型TurboS位列全球 第7，在国内大模型中仅次于Deepseek。放眼国际，排在前面的 也 仅有谷歌Gemini、 OpenAI 以及xAI三家国际顶级机构。腾讯混元基础模型为什么能够取得这么亮眼的成绩？在技术上有哪些创新？答案就藏在 最 新发布的腾讯混元TurboS技术报告 中。 论文链接：https://arxiv.org/abs/2505.15431 随着大型语言模型（LLM）的飞速发展，模型能力与效率的平衡成为了前沿研究的关键议题。 腾讯混元团队最新推出的混元TurboS模型，是一款新颖的 超大型 Hybrid Transformer-Mamba架构MoE模型 。该模型通过Mamba架构在长序列处理上的卓越效率与Transformer架构在上下文理解上的固有优势的有机协同，实现了性能与效率的精妙平衡。 混元TurboS引入了创新的自适应长短思维链机 ………………………………