社区供稿｜快速上手谷歌 Gemma 模型中文指令微调

文/ 魏巍，个人技术分享，不代表任何公司立场和观点谷歌在 2 月 21 日放出开放权重的 Gemma 系列大模型，包括 2B 和 7B 两个大小，并且有预训练和指令微调两个版本。虽然 Gemma 的预训练数据里面包含多种语言，不过在官方的技术报告里，明确指出了做指令微调的时候，只用了英文:经过英文指令微调的 Gemma 模型，仍然保留一定程度的指令跟随能力，可以理解一部分中文指令，但有些时候我们未必希望使用官方的指令微调模型，而是希望将预训练模型重新进行中文指令微调，来达到我们的要求，所以在这里我们就分享 3 个方法来进行 Gemma 的中文指令微调。注意在这里我们统一使用 gemma-2b 这个模型，同时我们选择了 Hello-SimpleAI/HC3-Chinese 数据集来作为微调数据。这个数据集有不同主题的问答，包括问题，人类回答和 ChatGPT 回答，涵盖了金融，百科，法 ………………………………