万字长文概览大语言模型对齐

TJUNLP大语言模型对齐：概念、挑战、路线、评测及趋势 熊德意 天津大学智能与计算学部 摘要通用智能的 “智能-目标” 正交性及 “工具性趋同” 论点均要求通用智能的发展要智善结合。目前大语言模型在能力（智）方面发展迅速，但在更具挑战性的价值对齐（善） 方面研究相对滞后。本综述将概述对齐的基本概念和必要性，简述其存在的社会和技术挑战，分析大语言模型对齐的主要技术路线和方法，探讨如何对大语言模型对齐进行评测，并对未来趋势进行展望。关键词：大语言模型；通用人工智能；AI对齐；大语言模型对齐1 引言近年来，以OpenAI ChatGPT和GPT-4为代表的大语言模型（Large Language Model，LLM）发展迅速，重新燃起了人们对通用人工智能（Artificial General Intelligence， AGI）的热情和憧憬。虽然大语言模型是否是通向AGI之路仍存在争议，但 ………………………………