看啥推荐读物
专栏名称: PaperWeekly
PaperWeekly是一个推荐、解读、讨论和报道人工智能前沿论文成果的学术平台,致力于让国内外优秀科研工作得到更为广泛的传播和认可。社区:http://paperweek.ly | 微博:@PaperWeekly
今天看啥  ›  专栏  ›  PaperWeekly

面壁低调开源新模型:早于Llama 3、比肩Llama 3、推理超越Llama 3!

PaperWeekly  · 公众号  · 科研  · 2024-05-07 18:34
三周前,面壁发布领先的开源大模型「Eurux-8x22B 」。相比口碑之作 Llama3-70B,发布时间更早,综合性能相当,尤其是拥有更强的推理性能——刷新开源大模型推理性能 SOTA,堪称开源大模型中「理科状元」。激活参数仅 39B,支持 64k 上下文,相比 Llama3 速度更快、可处理更长文本。图注:面壁Eurux-8x22B 模型在 LeetCode 和 TheoremQA这两个具有挑战性的基准测试中,刷新开源大模型推理性能 SOTA。图注:面壁Eurux-8x22B 模型综合性能比肩 Llama3-70B,超越开源模型 WizardLM-2-8x22b, Mistral-8x22b-Instruct,DeepSeek-67b,以及闭源模型 GPT-3.5-turbo。Eurux-8x22B 由 Mixtral-8x22B对齐而来。强劲战斗力,来自面壁 Ultra 对齐技术上新 UltraInteract 大规模、高质量对齐数据集。此前,面壁 Ultra 对齐系列数据集已经“强壮”了全球超 200 个大模型,堪称大模型上分神器。Eurux-8x22B模型+对齐数据集 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照