如果你还不了解GBDT，不妨看看这篇文章

4. 实例详解

本人用 python 以及 pandas 库实现 GBDT 的简易版本，在下面的例子中用到的数据都在 github 可以找到，大家可以结合代码和下面的例子进行理解，欢迎 star~  

Github：https://github.com/Freemanzxp/GBDT_Simple_Tutorial

数据介绍：

如下表所示：一组数据，特征为年龄、体重，身高为标签值。共有5条数据，前四条为训练样本，最后一条为要预测的样本。

训练阶段：

参数设置：

• 学习率：learning_rate=0.1

• 迭代次数：n_trees=5

• 树的深度：max_depth=3

1.初始化弱学习器:

损失函数为平方损失，因为平方损失函数是一个凸函数，直接求导，倒数等于零，得到 c。

令导数等于0

所以初始化时，c取值为所有训练样本标签值的均值。

c=(1.1+1.3+1.7+1.8)/4=1.475，此时得到初始学习器

2.对迭代轮数m=1，2,…,M:

由于我们设置了迭代次数：n_trees=5，这里的 M=5。  计算负梯度，根据上文损失函数为平方损失时，负梯度就是残差残差，再直白一点就是 y 与上一轮得到的学习器 的差值 残差在下表列出：　

此时将残差作为样本的真实值来训练弱学习器 ，即下表数据

接着，寻找回归树的最佳划分节点，遍历每个特征的每个可能取值。 从年龄特征的5开始，到体重特征的 70 结束，分别计算分裂后两组数据的平方损失（Square Error）， 左节点平方损失， 右节点平方损失，找到使平方损失和 最小的那个划分节点，即为最佳划分节点。

例如：以年龄 7 为划分节点，将小于 7 的样本划分为到左节点，大于等于 7 的样本划分为右节点。左节点包括 x0，右节点包括样本 ， ，所有可能划分情况如下表所示：

以上划分点是的总平方损失最小为 0.025有两个划分点：年龄21和体重60，所以随机选一个作为划分点，这里我们选 年龄21

现在我们的第一棵树长这个样子：

我们设置的参数中树的深度 max_depth=3，现在树的深度只有 2，需要再进行一次划分，这次划分要对左右两个节点分别进行划分：

对于 左节点，只含有 0,1 两个样本，根据下表我们选择 年龄7 划分

对于 右节点，只含有 2,3 两个样本，根据下表我们选择 年龄30 划分（也可以选 体重70）

现在我们的第一棵树长这个样子：

此时我们的树深度满足了设置，还需要做一件事情，给这每个叶子节点分别赋一个参数 γ，来拟合残差。

这里其实和上面初始化学习器是一个道理，平方损失，求导，令导数等于零，化简之后得到每个叶子节点的参数 γ，其实就是标签值的均值。这个地方的标签值不是原始的 y，而是本轮要拟合的标残差 .

根据上述划分结果，为了方便表示，规定从左到右为第 个叶子结点

此时的树长这个样子：

此时可更新强学习器，需要用到参数学习率：learning_rate=0.1，用 lr 表示。

为什么要用学习率呢？这是 Shrinkage的思想，如果每次都全部加上（学习率为1）很容易一步学到位导致过拟合。

重复此步骤，直到 结束，最后生成5棵树。

下面将展示每棵树最终的结构，这些图都是GitHub上的代码生成的，感兴趣的同学可以去一探究竟

https://github.com/Freemanzxp/GBDT_Simple_Tutorial

第一棵树：

4.得到最后的强学习器：

5.预测样本5：

在 中，样本4的年龄为25，大于划分节点21岁，又小于30岁，所以被预测为 0.2250。

在 中，样本4的…此处省略…所以被预测为 0.2025

为什么是 0.2025？

这是根据第二颗树得到的，可以 GitHub 简单运行一下代码

在 中，样本4的…此处省略…所以被预测为 0.1823

在 中，样本4的…此处省略…所以被预测为 0.1640

在 中，样本4的…此处省略…所以被预测为 0.1476

最终预测结果：

5. 总结

本文章从GBDT算法的原理到实例详解进行了详细描述，但是目前只写了回归问题，GitHub 上的代码也是实现了回归、二分类、多分类以及树的可视化，希望大家继续批评指正，感谢各位的关注。

Github:

https://github.com/Freemanzxp/GBDT_Simple_Tutorial

参考资料

1. 李航 《统计学习方法》

2. Friedman J H . Greedy Function Approximation: A Gradient Boosting Machine[J]. The Annals of Statistics, 2001, 29(5):1189-1232.