全球最强开源模型一夜易主，1320亿参数推理飙升2倍！

  新智元报道  编辑：编辑部【新智元导读】就在刚刚，全球最强开源大模型王座易主，创业公司Databricks发布的DBRX，超越了Llama 2、Mixtral和Grok-1。MoE又立大功！这个过程只用了2个月，1000万美元，和3100块H100。全球最强开源模型，一夜易主！刚刚，超级独角兽Databricks重磅推出1320亿参数的开源模型——DBRX。它采用了细粒度MoE架构，而且每次输入仅使用360亿参数，实现了更快的每秒token吞吐量。这种独特的MoE架构，让DBRX成为开源模型的SOTA，推理速度比LLaMA 2-70B快了2倍！最重要的是，训练成本直接砍半！只用了1000万美元和3100块H100，Databricks就在2个月内肝出了DBRX。比起Meta开发Llama2所用的成本和芯片，这只是很小一部分。DBRX在语言理解、编程、数学和逻辑方面轻松击败了开源模型LLaMA2-70B、Mixtral，以及Grok-1。甚至，DBRX的整体性能超越GPT-3.5。尤其在编 ………………………………