一文直观理解KL散度

公众号关注 “ML_NLP”设为 “星标”，重磅干货，第一时间送达！选自 | thushv.com   作者 | Thushan Ganegedara转自 | 机器之心机器学习是当前最重要的技术发展方向之一。悉尼大学博士生 Thushan Ganegedara 撰写了系列博客文章，旨在为机器学习初学者介绍一些基本概念。本文介绍了 KL 散度（KL divergence）的基本数学概念和初级应用。   基础概念首先让我们确立一些基本规则。我们将会定义一些我们需要了解的概念。分布（distribution）分布可能指代不同的东西，比如数据分布或概率分布。我们这里所涉及的是概率分布。假设你在一张纸上画了两根轴（即 X 和 Y），我可以将一个分布想成是落在这两根轴之间的一条线。其中 X 表示你有兴趣获取概率的不同值。Y 表示观察 X 轴上的 ………………………………