熵与其它信息量估计—国科大UCAS胡包钢教授《信息论与机器学习》课程第四讲

【导读】在信息论或机器学习教学中，通常不包含熵估计内容。由于现代通讯应用中是数字通讯，对于离散随机变量，熵估计方法成熟，因此不是问题。而在机器学习或大数据处理中，大量数据是以连续随机变量方式出现（如图像、语音等）。而对连续随机变量及其混合随机变量，目前熵估计仍然处于方法研究发展阶段。机器学习传统教学中会包括分布估计，而不包括熵估计内容。我们知道熵估计类似于随机变量分布估计，需求大量且在低维数据中方可获得较好的近似解。熵估计或分布估计均属于“生成式（discriminative）学习”，一般会比“判别式（generative）学习”更难于处理，且预测结果误差更大。熵估计可以被认为是信息论与机器学习“综合”中的最大障碍。而 ………………………………