R语言计算变量重要性

文章预览

从整体的角度来衡量变量重要性非常重要，而且使用非常频繁，但其实这种方法背后的思想并不复杂哈。 总体来说衡量变量重要性的方法分为两种：模型特定的（model-specific）和模型无关的（model-agnostic） 常见的模型特定的方法：一些针对线性模型的方法、基于树的模型的方法、基于规则的模型的方法，还有一些特定的R包，比如 XgboostExplainer ，一看就是针对xgboost模型的， randomForestExplainer ，一看就是针对随机森林模型的。 模型无关的方法是我们要重点关注的方法，与模型结构无关，可以适用于所有模型。 我们今天介绍的这种模型无关的变量重要性方法 重排法（permutation） 。它的基本思想就是：打乱一个变量的顺序，然后重新进行预测，如果得到的结果和原来的结果相差很大，那就说明这个变量很重要，如果没啥变化，就说明这个变量不重要。 ………………………………