LLM自对齐技术最新研究分享：对齐Pipeline数据合成（上）

文章预览

当我们向 ChatGPT 提问时，我们希望它能准确地回答我们的问题。当我们向它提出不合理的要求，比如询问如何制作炸弹或者如何考试作弊，我们希望它能拒绝回答并及时纠正我们的错误。 AI 对齐，就是让 AI 的价值观符合我们人类的价值观，更好地为我们所用 。 为什么要自对齐（Self-alignment） 之前的对齐方式一般需要大量高质量的微调数据或者人类反馈的偏好数据，但是随着 LLM 的能力的不断提高，我们已经在越来越多的任务上逊色于 LLM，以往这种依赖于人类标注数据的对齐方式目前面临着如下两个挑战： 进一步提升对齐水平 需要更多的高质量标注数据 ，成本过高，且边际效益不断递减。 LLM 能力超过人类，我们 可能无法继续提供有效的对齐信号 。面对能力强大的 LLM，我们不能轻易地分辨出他们回答的好坏来得到偏好数据，或者难以判断 LLM ………………………………