社区供稿 | 使用 Firefly 在单卡V100 上对 Qwen1.5 进行 SFT 和 DPO，显著超越官方模型

01简介Firefly 是开源的大模型一站式训练框架，支持对各种大模型进行预训练、指令微调、DPO，支持全量参数、LoRA、QLoRA 等训练方式。支持包括但不限于 Gemma、Qwen1.5、MiniCPM、Mixtral-8x7B、Mistral、Llama 等绝大多数主流的大模型。 项目链接：https://github.com/yangjianxin1/Firefly模型权重：https://hf.co/YeungNLP/firefly-qwen1.5-en-7bhttps://hf.co/YeungNLP/firefly-qwen1.5-en-7b-dpo-v0.1本文将分享我们使用 Firefly 项目对 Qwen1.5-7B 进行训练的实验。我们对训练数据进行 精细化筛选，然后 在单张 V100 上进行 SFT 和 DPO。经过两阶段的训练，我们的模型 在 Open LLM Leaderboard 上的表现显著优于官方的 Qwen1.5-7B-Chat、Gemma-7B-it、Vicuna-13B 等模型。比 Qwen1.5-7B-Chat 高 7.12 分，比 Gemma-7B-it 高 8.8 分。通义千问 Qwen1.5 是阿里巴巴在春节前开源的大模型，支持 32K 的上下文长度，该模型本质上是 Qwen2 的 ………………………………