1 前言

今天在学习 Machine Learning~

2 Regularization-正则化

在机器学习中，当训练样本较少少而h(θ)h(\theta)h(θ)较为复杂时，就会产生过拟合现象，其原因是训练步骤无法遍历更多潜在可能的情况，于是h(θ)h(\theta)h(θ)为了减小loss而朝着不可预料的方向进行拟合，从而降低了模型的泛化能力，而Regularization则是针对于这种情况而产生的，因为这种过拟合现象大多数是由于过度依赖于某一种或某几种参数，使得这些参数的绝对值较大，于是在损失函数中加入正则化项来防止过拟合现象。

3 正则化的性质

如果原始的J(θ)J(\theta)J(θ)函数是凸函数，那么加入正则化项之后，新的损失函数仍然是凸函数。