【CMU博士论文】面向求真、复杂推理与人类价值的大规模语言模型可扩展对齐

文章预览

来源：专知 本文 约1000字 ，建议阅读 5 分钟 本论文提出了一系列创新方法，旨在应对面向超人类能力系统的基本对齐挑战。 随着以 GPT-4 和 OpenAI Deep Research 为代表的大规模语言模型（LLMs）及具备推理能力的 AI 智能体呈指数级发展，通用人工智能（AGI）的实现时间表被大幅提前，其能力正以前所未有的速度扩展。在我们站在有望于不远将来实现 AGI 的门槛之际， 对齐问题 ——即确保这些系统保持真实、具备复杂推理能力，并符合人类价值观——正变得愈发关键。 本论文提出了一系列创新方法，旨在应对面向超人类能力系统的基本对齐挑战。不同于传统范式（如监督微调 SFT 和基于人类反馈的强化学习 RLHF），我们提出了一种 基于原则驱动的对齐方法（Principle-Driven Alignment） ，并在 AI 反馈强化学习（RLAIF）框架中实现了可扩展的对齐机制。该方法 ………………………………