机器学习面试之各种混乱的熵

请听题：什么是熵？什么是交叉熵？什么是联合熵？什么是条件熵？什么是相对熵？它们的联系与区别是什么？如果你感到回答这些问题有些吃力，对这些概念似乎清楚，似乎又没有那么明白，那这篇文章就是为你准备的。1 从随机变量说起假设有一枚硬币，将其抛出，落下后朝上的面为y。这里的y是对未知量的一个表示。但它的值却是不确定的，可能取正面和反面两个值。类似的不确定变量还有好多，比如说，将人的身高设为z,z中也包含了不确定性，因为不同的人身高是不一样的。这类包含不确定性的变量我们称为随机变量。统计学就是研究这类不确定性变量的工具。刻画随机变量最有力的一个工具就是它的概率分布。关于什么是概率分布，这里就不多说了，可 ………………………………