指令微调 是一种技术，它能让大语言模型 (LLMs) 更好地理解和遵循人类的指令。但是，在编程任务中，大多数模型的微调都是基于人类编写的指令 (这需要很高的成本) 或者是由大型专有 LLMs 生成的指令 (可能不允许使用)。我们推出了一个叫做 StarCoder2-15B-Instruct-v0.1 的模型，这是第一个完全自我对齐的大型代码模型，它是通过一个完全开放和透明的流程进行训练的。我们的开源流程使用 StarCoder2-15B 生成了成千上万的指令-响应对，然后用这些对来微调 StarCoder-15B 本身，而不需要任何人类的注释或者从大型专有 LLMs 中提取的数据。StarCoder2-15B-Instruct-v0.1https://hf.co/bigcode/starcoder2-15b-instruct-v0.1StarCoder2-15B-Instruct 在 HumanEval 上的得分是 72.6，甚至超过了 CodeLlama-70B-Instruct 的 72.0 分！ 在 LiveCodeBench 上的进一步评估表明，自我对齐的模型甚至比在从 GPT-4 提炼的数
………………………………
