百位专家联名警告：AI或将体验痛苦！Hinton、Bengio掀AI意识大论战

主要观点总结

最近，一百多位AI从业者、实践者和思想家发表公开信，呼吁对AI意识进行负责任的研究，否则可能会导致具有意识或自我感知能力的AI系统遭受痛苦。文章讨论了关于AI意识的关键问题，包括如何避免虐待AI、如何进行研究以及沟通规范等。同时，论文探讨了AI意识的重要性，包括伦理问题和可能的哲学问题。此外，文章还提到了不同专家对AI意识的看法，以及当前更紧迫的问题，即无法控制的自主进化AI的出现。

关键观点总结

关键观点1: AI意识研究的重要性和挑战

公开信呼吁对AI意识进行负责任的研究，因为具有意识或自我感知能力的AI系统可能会遭受痛苦。论文讨论了AI意识的伦理问题和可能的哲学问题，包括如何判断AI是否意识、如何对待具有意识的AI等。

关键观点2: 专家对AI意识的观点

Hinton认为AI已经发展出了意识，而Bengio则认为意识并不重要，真正重要的是AI的目标、规划能力、是否对人类有害等。播客主持人Daniel Faggella肯定道，我们对意识到底是什么完全一无所知，当前更紧迫的问题是自主进化AI的出现。

关键观点3: AI意识研究的进展和潜在风险

目前已有研究在探讨如何构建具有意识的AI系统，但这也带来了潜在风险。如果AI系统真的发展出意识，可能会遭受痛苦，需要制定相应的方针来防止无意间创造出具备意识的实体。

文章预览

文章转载于新智元 如果AI系统实现意识，可能会遭受痛苦？ 最近，一百多位AI从业者、实践者和思想家发出了一封公开信。 他们呼吁：要对AI意识进行负责任的研究，否则如果AI实现了意识，可能就会「遭受痛苦」。 其中包括伦敦大学学院的Anthony Finkelstein、耶鲁大学的Wendell Wallach等学者和相关人士。 这些人的核心诉求是：人类在开发AI系统时，必须足够负责，否则，可能具有情感或自我意识的AI系统，就可能会受到伤害。 为了不让AI受到「虐待和痛苦」，超过100位专家提出了五项原则： 目标 相关机构应优先开展AI意识的理解与评估研究，其核心目标包括（1）防止对有意识的AI系统实施虐待行为及其引发的痛苦体验；（2）准确理解不同能力与功能定位的AI系统具备意识可能带来的效益与风险。 开发 相关机构在满足以下条件时，方可开展有意识AI系 ………………………………