【国盛计算机】Meta发布Llama3，开源生态再迎重大更新

核心观点Meta发布Llama3，有望开源400B参数模型。2024年4月18日，Meta发布开源大模型Llama 3系列，包括8B和70B两个版本，并宣布超过400B的版本正在训练中。Llama3 支持8K上下文长度，是Llama2的两倍，同时大大降低了错误拒绝率，改善了一致性，并增加了模型响应的多样性，在推理、代码生成和指令跟踪等功能也有极大改进。大规模、高质量的训练数据处理对Llama3至关重要，Llama 3 经过超15T token的预训练，训练数据集比 Llama 2 使用的数据集大七倍，并且包含四倍多的代码。Meta还自己开发了一套新的高质量人类评估数据集。在接下来的几个月中，Meta将发布多个具有新功能的模型，包括多模态、以多种语言交谈的能力、更长的上下文窗口和更强的整体功能。Llama3赋能的Meta AI助手已嵌入WhatsApp、Messenger和Instagram 等多项应用。开源生态蓬勃发展，良性竞争推动产业 ………………………………