看啥推荐读物
专栏名称: PaperWeekly
PaperWeekly是一个推荐、解读、讨论和报道人工智能前沿论文成果的学术平台,致力于让国内外优秀科研工作得到更为广泛的传播和认可。社区:http://paperweek.ly | 微博:@PaperWeekly
今天看啥  ›  专栏  ›  PaperWeekly

全网首发!Llama 3技术剖析、微调、部署以及多模态训练

PaperWeekly  · 公众号  · 科研  · 2024-04-29 13:57
Meta公司推出了开源大语言模型Llama系列的最新产品—Llama 3,包含了80亿参数的Llama 3 8B和700亿参数的Llama 3 70B两个版本。Meta称其为“迄今为止最强的开源大模型”。Meta官方数据显示,Llama 3 8B模型在MMLU、GPQA、HumanEval等多项基准上均胜过同参数量级模型Gemma 7B和Mistral 7B Instruct,而70B模型则超越了闭源的当红模型Claude 3 Sonnet,并且效果上完全能与Google的Gemini Pro 1.5掰掰手腕。那Llama 3在结构上跟之前的版本有哪些区别?它的预训练和Post训练是如何进行的?如何对Llama 3进行微调?基于Llama 3是否能构建出更优质的多模态大模型?鉴于这些问题,我们特意组织了一次对Llama 3的免费公开课,前面剖析它的技术层面以及应用。  1. 不仅剖析原理,更有实操案例分享本次公开课主题是《Llama 3技术剖析、微调以及多模态训练》,将剖析Llama 3的核心技术,讲解如何基 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照