【机器学习】深刻理解决策树-动手计算ID3算法

 一、决策树概述决策树算法易于理解、可解释性强，是一个非常常见并且优秀的机器学习算法，可分类，也可回归。现在许多最优秀的集成模型，基础也是决策树。因此，决策树系列算法是机器学习绕不过的大山。需要进行非常系统化、深刻化的学习和理解。在信息论中一个属性的信息增益越大，表明该属性对样本的熵减少能力越强，也就是说确定这个属性会使系统越稳定有序（熵越小系统越稳定），那么该分区的纯度也就越高。不论一个数据集有多少特征，每次划分数据集时只能选一个特征，那么第一次选择哪个特征作为划分的参考属性才能将数据更快的分类呢?答案一定是分类能力最好的那个特征，但问题来了，如何判断哪一个特征分类能力最好呢？可以引入一个 ………………………………