目录

0.前言

1.正则化（Regularization）

2.线性回归中的正则化

3.逻辑回归中的正则化

学习完吴恩达老师机器学习课程的正则化，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。

如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~

0.前言

在分类或者回归时，通常存在两个问题，“过拟合”（overfitting）和“欠拟合”（underfitting）.

过拟合：曲线为了减少代价函数，一味地拟合数据，使得样本中几乎每一个数据都能正确被分类（回归），导致过度拟合，不能泛化新的样本，通常具有高方差（high variance）欠拟合：曲线的拟合度不够，太多的数据并没有被拟合到，通常具有高偏差（high bias）

通常，在过拟合的情况中，存在过量的特征，有以下两种解决办法：

减少特征量采用正则化

1.正则化（Regularization）

由于造成过拟合的原因可能是太多的特征量，所以可采用减少特征量的方法。但是不妨换种思路，减少特征量的权值（这个特征乘以的 很小），来达到目的。

例如，对于，已知的关联度不大，我们需要减少它的权值（），可将代价函数修改为，这样为了降低，就会使得，达到了减小特征的目的。

但是通常，我们不知道哪些特征量是无关的，所以给出修改后的代价函数定义：

其中，称为正则化参数，称为正则项，目的是使得减小。正则化使得假设函数更加简单，减小发生过拟合概率。

注：如果过大，会造成，使得，造成欠拟合。

2.线性回归中的正则化

在线性回归中运用正则化，我们已知代价函数和梯度下降法如下定义：

代入可得：

其中，，所以相当于乘以一定的权值，然后再减去梯度下降的变化量。

同样，在正规方程中，也可以使用正则化：

此时，可以保证，中间项一定不是奇异矩阵，一定存在逆矩阵。

3.逻辑回归中的正则化

与上述类似，代价函数可表示为：

梯度下降法可表示为：

逻辑回归中的是在外包裹了一层函数的，与线性回归不同，所以梯度下降法看似相同却不同。

如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~