岭回归
source link: https://ylhao.github.io/2018/05/20/189/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
回归分析中最常用的最小二乘法是一种无偏估计。线性回归问题的损失函数通常为：
J(ω)=12mm∑i=1(h(x(i))−y(i))2 =12mm∑i=1(ωTx(i)−y(i))2 J(ω)=12m∑i=1m(h(x(i))−y(i))2=12m∑i=1m(ωTx(i)−y(i))2
求解以上损失函数的最小值有两种方法：梯度下降法以及正规方程法，在“线性回归（一）”和“线性回归（二）”两篇文章中分别做了相关的介绍。
岭回归的作用
岭回归的出现是为了解决线性回归出现的过拟合问题以及在通过正规方程方法求解 ωω 的过程中出现的 XTXXTX 不可逆这两类问题的。
岭回归的损失函数为以下形式：
J(ω)=12mm∑i=1(h(x(i))−y(i))2+λ2mn∑j=1ω2jJ(ω)=12m∑i=1m(h(x(i))−y(i))2+λ2m∑j=1nωj2
当用正规方程法来求解宿舍呢hi函数的最小值时，相当于在矩阵 XTXXTX 上加入了一个 λIλI 从而使得矩阵非奇异。进而可以对矩阵 XTX+λIXTX+λI 求逆。其中 II 是一个单位矩阵。这时回归系数的计算公式变为：
ˆω=(XTX+λI)−1XTyω^=(XTX+λI)−1XTy
对岭回归的理解
岭回归最先用来处理特征数多于样本数的情况，现在也用于在估计中加入偏差，从而得到更好的估计。这里通过引入 λ∑nj=1ω2jλ∑j=1nωj2 限制了所有 ωω 的平方和，通过引入该惩罚项，能够减少不重要的参数。
其中 λλ 称为正则化参数，如果 λλ 选取过大，会把所有参数 ωω 均最小化，造成欠拟合，如果 λλ 选取过小，会导致对过拟合问题解决不当。
这里对岭回归做更进一步的总结：岭回归是对最小二乘回归的一种补充，它损失了无偏性，来换取高的鲁棒性。
Lasso 回归简介
岭回归与 Lasso 回归最大的区别在于岭回归引入的是 L2 范数惩罚项，Lasso 回归引入的是 L1 范数惩罚项，Lasso 回归的损失函数为以下形式：
J(ω)=12mm∑i=1(h(x(i))−y(i))2+λ2mn∑j=1|ωj|J(ω)=12m∑i=1m(h(x(i))−y(i))2+λ2m∑j=1n|ωj|
岭回归图示
由上图可以看出： 当 αα 很大时，系数变得趋近于 0，当 αα 很小时，结果趋近于最小二乘法，系数的幅度波动很大。
- 《机器学习实战》
转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达，可以在文章下方的评论区进行评论，也可以邮件至 [email protected]
文章标题:岭回归
文章字数:645
本文作者:ylhao
发布时间:2018-05-20, 12:04:22
最后更新:2019-06-07, 11:50:53
原始链接:https://ylhao.github.io/2018/05/20/189/版权声明: "署名-非商用-相同方式共享 4.0" 转载请保留原文链接及作者。
来做第一个留言的人吧！
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK