机器学习 正则化(regularization)

方法

1.丢弃一些特征,手工或者使用一些算法(如PCA)

2.正则化,保留特征,但是减少参数大小.

正则化

高次项导致了过度拟合,所以只要将高次项的系数逼近为0的话,就可以拟合了,既在一定程度上减少参数θθ的值.

其中λλ称为正则化参数(regularization parameter),根据惯例,不需要对θ0θ0进行惩罚.

正则化线性回归

调整可得

可以看出变化在于每次都在原有算法更新的基础上令θθ值减少了一个值.

正则化逻辑回归

代价函数

求导