刚刚，Mistral AI 的模型又更新了。这次开源一如既往地「突然」，是在一个叫做 Cerebral Valley 的黑客松活动上公布的。PPT 一翻页，全场都举起了手机拍照：这次开源的 Mistral 7B v0.2 Base Model ，是 Mistral-7B-Instruct-v0.2 背后的原始预训练模型，后者属于该公司的「Mistral Tiny」系列。此次更新主要包括三个方面：将 8K 上下文提到了 32K；Rope Theta = 1e6；取消滑动窗口。下载链接：https://models.mistralcdn.com/mistral-7b-v0-2/mistral-7B-v0.2.tar更新之后的性能对比是这样的：场外观众迅速跟进。有人评价说：「Mistral 7B 已经是同尺寸级别中最好的模型，这次改进是一个巨大的进步。我将尽快在这个模型上重新训练当前的许多微调。」Mistral AI 的第一个 7B 模型发布于 2023 年 9 月，在多个基准测试中实现了优于 Llama 2 13B 的好成绩，让 Mistral AI 一下子就打出了知名度。这也导致目前
………………………………
