除了L2正则化和随机失活（dropout正则化），还有几种方法可以减少神经网络中的过拟合。
假设你正在拟合猫咪图片分类器，如果你想通过扩增训练数据来解决过拟合，但扩增训练数据代价高，而且有时候我们无法扩增数据，但我们可以通过添加这类图片来增加训练集，例如水平翻转图片，并把它添加到训练集，所以现在训练集中有原图，还有翻转后的这张图片。所以，通过水平翻转图片，训练集可以增大一倍。因为训练集有冗余，这虽然不如我们额外收集一组新图片那么好，但是这样做节省了获取更多猫咪图片的花费。除了水平翻转图片，也可以随意裁剪图片，如下图是将原图旋转并随意放大后裁剪的，仍能辨别出图片中的猫咪。通过随意翻转和裁剪图片我们可以增大数据集，额外生成假训练数据。和全新的独立的猫咪图片数据相比，这些额外的假数据无法提供更多的信息，但是我们这么做基本没有花费，代价几乎为0。除了一些对抗性代价，以这种方式扩增算法数据，进而正则化数据集，减少过拟合比较廉价。
像这样人工合成数据的话，我们要通过算法验证，图片中的猫经过水平翻转之后依然是猫，注意这里并没有垂直翻转，因为我们不想上下颠倒图片，也可以随机选取放大后的部分图片，猫可能还在上面。
对于光学字符识别，我们可以通过添加数字，随意旋转或扭曲数字来扩增数据，把这些数字添加到训练集，它们仍然是数字。为了方便说明，我对字符做了强变形处理，所以数字4看起来是波形的，其实不用对数字4做这么夸张的扭曲，只要更轻微的变形就好，做成这样是为了让大家看的更清楚。实际操作的时候，我们通常对字符做更轻微的变形处理，因为这几个4看起来有些扭曲。
所以数字扩增可作为正则化方法使用，实际功能上也与正则化相似。
还有另外一种常用的方法叫做early stopping，运行梯度下降时，我们可以绘制训练误差或只绘制代价函数J的优化过程，在训练集上用0-1记录分类误差次数呈单调下降趋势，如下图。
因为在训练过程中，我们希望训练误差，代价函数J都在下降，通过early stopping我们不单可以绘制上面这些内容，还可以绘制验证集误差，它可以是验证集上的分类误差，或验证集上的代价函数、逻辑损失或对数损失等。
你会发现，验证集误差通常会先呈下降趋势，然后在某个节点处开始上升。early stopping的作用是，神经网络在某次迭代中表现得很好了，我们就在这里停止训练，得到验证集误差。
当你还未在神经网络上运行太多迭代过程的时候，参数w接近0，因为随机初始化w值时，它的值可能都是较小的随机值。所以在你长期训练神经网络前，w依然很小。在迭代过程和训练过程中，w的值会变得越来越大。所以early stopping要做的就是在中间点停止迭代过程，我们得到一个w值中等大小的弗罗贝尼乌斯范数。与L2正则化相似，选择参数w范数较小的神经网络。
术语early stopping代表提早停止训练神经网络，这种方法有一个缺点。机器学习过程包括几个步骤，其中一步是选择一个算法来优化代价函数J，我们有多种工具来解决这个问题，如梯度下降，后面会介绍其它算法，例如Momentum，RMSprop和Adam等等。
但是优化代价函数J之后，我们不想发生过拟合，也有一些工具可以解决这个问题，比如正则化，扩增数据等。在机器学习中，超参数激增，选出可行的算法也变得越来越复杂，如果我们用一组工具优化代价函数，机器学习就会变得更简单。在优化代价函数J时，只需要留意w和b，J(w,b)J(w,b)J(w,b)的值越小越好，只需要想办法减小这个值，其它的不用关注。
预防过拟合还有其它任务，换句话说就是减小方差，这一步我们用另外一套工具实现，这个原理有时候被称为“正交化”，思路就是在一个时间做一个任务。early stopping的主要缺点是不能独立地处理上面提出的两个问题，即优化损失函数和减少方差。因为提早停止梯度下降，也就是停止了优化代价函数J，因为现在你不再尝试降低代价函数J，所以代价函数J的值可能还不够小，同时你又希望不出现过拟合，你没有采取不同的方式来解决这两个问题，而是用同一种方法同时解决两个问题，这样做的结果是，要考虑的东西变得更复杂。如果不用early stopping，另一种方法就是L2正则化，训练神经网络的时间就可能很长，这导致超参数搜索空间更容易分解，也更容易搜索，但是缺点在于，你必须尝试很多正则化参数λ\lambdaλ的值，这也导致搜索大量λ\lambdaλ值的计算代价太高。early stopping的优点是，只运行一次梯度下降，你可以找出w的较小值，中间值和较大值，而无需尝试L2正则化超参数λ\lambdaλ的很多值
