人工智能对齐问题的路径分析和风险防范

引言未来几十年，通用人工智能可能拥有在许多关键任务上超越人类的能力，如果没有相应的措施进行制约，通用人工智能系统有可能学会追求与人类利益或偏好相冲突（即非对齐）的目标，部署未对齐的通用人工智能系统将会不可逆转地破坏既有社会规则和道德约束，造成失控的严重后果。本文对发表在国际表征学习大会（ICLR）上的论文《The Alignment Problem from a Deep Learning Perspective》中的主要观点进行概括，以期了解对通用人工智能潜在的对齐问题的相关讨论。文末点击“阅读原文”，可获取原文PDF一、人工智能的非对齐风险在过去的十年里，深度学习取得了显著进步，在不同领域产生了具有嵌入式能力的大型神经网络，这些网络在《星际争霸2》《外交》等复杂游戏中已经达到了人类级别的性能，同时在样本效率、跨任务泛化和多步推理等领域 ………………………………