过拟合：训练好的神经网络对训练数据以及验证数据拟合的很好，accuracy很高，loss很低，但是在测试数据上效果很差，即出现了过拟合现象。
过拟合产生的原因：
（1）数据集有噪声
（2）训练数据不足
（3）训练模型过度导致模型非常复杂
解决方法：
（1）降低模型复杂度（缩小宽度和减小深度）
（2）数据集扩增（平移，旋转，缩放，剪切，添加噪音）
（3）正则化。
（4）加入droupout，让神经元以一定的概率不工作。
（5）early stopping
（6）ensemble（集成学习），特征融合。
泛化能力：训练好的神经网络模型对不在训练集中的数据的预测能力。
L2正则化：
正则化后的损失函数多了一项正则项，为正则化参数，若很大，则损失函数偏向于减小权重的值，若很小，则损失函数偏向于减小原损失函数的数值。
为什么正则化能够防止过拟合：
在神经网络中，正则化网络更倾向于小的权重，在权重小的情况下，数据x随机的变化不会对神经网络的模型造成太大的影响，所以可能性更小的受到数据局部噪音的影响。而未加入正则化的神经网络，权重大，容易通过较大的模型改变来适应数据，更容易学习到局部的噪音。
