从LASSO回归到结构性稀疏：线性回归的正则项都带来了什么？

©作者 | 黄秋实单位 | 香港中文大学（深圳）研究方向 | 智能电网本文我们主要关注于以下问题： 1. LASSO Regression 是什么？ 2. 稀疏性的意义是什么？（从数学上证明）3. 为什么 LASSO Regression 可以带来稀疏性？ 4. 如何求解 LASSO Regression（附代码）？5. 线性回归中不同的正则项都带来了什么？6. 为什么需要结构性稀疏？7. 如何得到结构性的稀疏？8. 稀疏性的拓展一些常用的工具箱LASSO是什么？LASSO Regression 是一种特殊的线性回归模型。与常见的最小二乘（Least Square Regression）回归相比，LASSO 回归仅仅在损失函数上增加了一个对变量 的 -norm（L1-范数）的惩罚：其中 是输入的样本， 是一个给定的矩阵（一组给定的基）， 是我们需要求解的变量， 是这个模型的惩罚系数。与最小二乘回归相比，LASSO 回归不仅可以帮助我们得到一个预测模型，同 ………………………………