1. 回归简介
在客观世界中普遍存在着变量与变量之间的关系。变量之间的关系一般可以分为确定关系和不确定关系。确定关系是指变量之间的关系可以通过函数关系来表达。非确定关系即所谓的相关关系。而回归分析是研究非确定关系的方法，可以帮助我们从一个或一系列变量的值去估计另一个变量的值。
线性回归模型为
通过最小化损失函数
求得最优的
。具体的方法有线性回归、局部加权回归、岭回归、Lasso回归和逐步线性回归等。
2. 回归模型
线性回归
线性回归求解
有两种方法，一种是使用梯度下降法求解，另一种是通过正规方程求解。梯度下降法前面已经介绍过了，下面介绍下正规方程的解法。
对损失函数求导
令导数等于0，得
解得
其中
为训练集， 为训练集标签。线性回归代码如下：
def
局部加权回归
线性回归容易出现欠拟合的现象，因为它求的是具有最小均方差的无偏估计。为了解决这一问题，局部加权回归在待预测点附近的每一个点赋予一定的权重，然后在这个自己是基于最小均方差来进行普通的回归分析。对于局部加权回归来说其损失函数为
和线性回归类似，对损失函数求导，然后令导数为零可得
对于局部加权回归的权重
类似于支持向量机的核函数，常用的为高斯核函数
局部加权回归代码：
def
岭回归
在做回归分析时，有时候特征维度比样本数量多，此时输入的特征矩阵不是满秩的，因此不存在其逆矩阵。为了解决这个问题，岭回归在矩阵
上加上一个 使得矩阵非奇异。实际上，对于岭回归来说，其损失函数加上一个L2正则化项，即
和线性回归类似，对损失函数求导，然后令导数为零可得
岭回归代码如下：
def
Lasso回归
Lasso与岭回归类似,Lasso回归也是在损失函数上增加正则化项。但是Lasso正价的是L1正则化项，即
由于L1范数采用的是绝对值导致Lasso不是处处可导的，因此不能使用梯度下降或者牛顿法来求解。这里使用坐标下降法求得最优的
值。坐标下降法通过每次沿一个方向优化获取最小值，即
坐标下降法可以得到闭式解
其中
为系数。
Lasso回归代码：
def
逐步线性回归
逐步线性回归和Lasso算法类似，它采用贪心算法，每一次所做的决策是对权重增加或者减少一个很小的值。
逐步线性回归代码如下：
def
3. 总结与分析
线性回归分析的内容还是蛮多的，其中很多方法都有相应的改进算法，这里值介绍了它们的基础算法。最后贴一下本文实现的线性回归与Sklearn检测性能的比较。
发现两者运行时间差不多，但是Sklearn的回归效果要好一些，本文的到后来就飘了。
本文相关代码和数据集：
/Ryuk17/MachineLearning
参考文献：
[1] 【机器学习】一文读懂正则化与LASSO回归，Ridge回归
[2] Peter Harrington, Machine Learning IN ACTION
