社区供稿 | Unsloth x Qwen2，提速 47.32%，节省 39.13% 显存，最少仅需 8.43GB 显存

01现状在上一篇文章「社区供稿 | Unsloth 微调 Llama3-8B，提速 44.35%，节省 42.58% 显存，最少仅需 7.75GB」中，我们介绍了Unsloth，这是一个大模型训练加速和显存高效的训练框架，我们已将其整合到Firefly训练框架中，并且对Llama3-8B的训练进行了测试，Unsloth可大幅提升训练速度和减少显存占用。遗憾的是，Unsloth目前并不支持Qwen2模型结构，该需求在Unsloth的issue中也被频繁提及，但官方在短期内暂时没有支持Qwen2的计划，更多的是建议用户对Qwen2的权重进行Llama化，然后采用Llama的训练方式。但对Qwen2的权重进行Llama化后，模型性能有显著的下降。注：本文提及的Qwen2指的是模型结构，而非模型权重，Qwen1.5模型属于Qwen2模型结构，Qwen2模型权重尚未开源。Qwen系列模型具有非常大的用户基数，目前开源的Qwen1.5模型可以视为Qwen2的preview版本，它在中英文任务上具有 ………………………………