刚才偶然在一个群里看到有人在问，正则化项是如何做到防止过拟合的。突然想到了一个有关雨伞的类比，这里写出来分享给大家。
我们知道，在机器学习\数据挖掘中，我们在评估模型的性能时通常用到的是经验风险，但是只依靠经验风险值来衡量模型的性能是无法体现我们的模型是否过拟合的，因此在经验风险值后加了一个正则化项，它是模型复杂度的单调不减函数。意思就是模型复杂度越高，正则化项值就可能越大。我们的优化目的就是要是经验风险和正则化项同时最小。这样在提高模型的性能时又很大程度上控制了过拟合【大家可以参考《统计学习方法》--李航】。那么正则化项到底是怎么做到控制过拟合的？下面我讲一个厂家制作雨伞的例子。
利用学习算法从数据学习模型，就好比商家通过观察大众需求制作雨伞。但是我喜欢的是雨伞上有斑点狗团，材料要丝绸的，带蕾丝边的，还希望雨伞上能播放点小电影。。。。但是！！！我这个需求太特殊化了，除非我有钱请一个私人厂家为我量身定制。如果厂家把这样的雨伞制作出来，别人估计不会买，这就叫过拟合。并且我的这些个性需求越多，那么雨伞造价就越高。厂家要制作的是满足大众需求的，具有普遍共性的雨伞。这就是奥考姆剃刀原理，保证了大众需求的同时他又很简单。正则化就是就好比加入了成本控制项目，它是个性需求复杂度的函数。成本控制下来了，那么就不会出现个性化需求的雨伞咯，就不会过拟合了，伞也就符合大众需求了。
