深度学习中你必须知道的「信息论」

图源：unsplash原文来源：Towards Data Science作者：Abhishek Parbhakar「雷克世界」编译：嗯~是阿童木呀、EVA导语：1948年，数学家和电气工程师克劳德•香农（Claude Elwood Shannon）在其开创性论文《通信的数学理论》中提出了“信息论”，这一概念。对深度学习和人工智能的发展具有非凡的意义。那么，对于信息论大家又了解多少呢？在本文中，Abhishek Parbhakar对在深度学习和数据科学中广泛流行和通用、且必须知道的信息论概念进行了介绍，希望能够为大家了解这些概念有所助益。信息论（Information Theory）是对深度学习和AI做出重大贡献的重要领域，但对许多人而言，信息论是很陌生的。我们可以将信息论看作深度学习的基础构建块（basic building block）的复杂融合，这些基础构建 ………………………………