曝Bengio新动向：世界模型+数学证明，确保AI系统正常运作

主要观点总结

文章介绍了深度学习领域的知名人士Yoshua Bengio加入了英国的高级研究与发明局（ARIA）支持的Safeguarded AI项目，担任科学总监。该项目旨在通过结合科学的世界模型和数学证明，构建一个负责理解和降低其他AI Agent风险的AI系统。

关键观点总结

关键观点1: Yoshua Bengio的下一步动向

Yoshua Bengio加入了Safeguarded AI项目，担任科学总监，关注AI安全。他强调了AI行为异常或误用可能带来的严重后果，并提倡提供强有力的数学保证来确保AI系统的正常运行。

关键观点2: Safeguarded AI项目的目标与策略

该项目分为三个技术领域：支架、机器学习和应用。旨在构建一个负责理解和降低其他AI Agent风险的AI系统，通过量化安全保障释放重要的经济价值。

关键观点3: 关于“构建一个负责理解和降低其它AI Agent风险的AI系统”的具体方法

Safeguarded AI项目提出了“Guaranteed Safe AI”的模式来量化AI系统的安全保障。主要包括世界模型、安全规范和安全等级等方面。

关键观点4: AI风险的重要性与争议

文章提到AI风险一直是行业大佬关注的焦点话题。包括吴恩达、Hinton、LeCun等人都对AI风险表达了关注和担忧。Yoshua Bengio也发表公开信和文章强调AI风险管理的重要性。

文章预览

西风 发自 凹非寺 量子位 | 公众号 QbitAI 深度学习三巨头之一Yoshua Bengio的下一步动向公开了，关于AI安全—— 加入了一个名为 Safeguarded AI （受保护的人工智能） 的项目，担任科学总监。 据介绍，Safeguarded AI旨在： 通过结合科学的世界模型和数学证明，构建一个负责理解和降低其它AI Agent风险的AI系统。 主打的就是一个量化安全保障。 该项目由英国高级研究与发明局 （ARIA） 提供支持，据说未来ARIA将投入共5900万英镑 （约合RMB5.37亿） 。 Bengio表示： 如果你计划部署某种技术，鉴于AI行为异常或误用可能带来非常严重的后果，你需要提出充分的理由，最好能提供强有力的数学保证，确保你的AI系统将正常运作。 “受保护的AI” Safeguarded AI项目被划分为三个技术领域，每个领域都有特定的目标和预算： 支架 （Scaffolding） ，构建一个可扩展、可互操作的 ………………………………