机器学习-偏差、方差、均方误差,清楚简单的解释!!!!
输入 (X0, y0)
假设有5个训练集,那么这五个训练集最终就可以得到五个模型。
五个模型中分别输入特征X0,就可以得到五个不同的 f ^ \widehat{f} f (X0),这里我表示为 f ^ \widehat{f} f 1(X0), f ^ \widehat{f} f 2(X0), f ^ \widehat{f} f 3(X0), f ^ \widehat{f} f 4(X0), f ^ \widehat{f} f 5(X0)
可以求得这五个模型的均差为:E( f ^ \widehat{f} f (X0))=1/5( f ^ \widehat{f} f 1(X0)+ f ^ \widehat{f} f 2(X0)+ f ^ \widehat{f} f 3(X0)+ f ^ \widehat{f} f 4(X0)+ f ^ \widehat{f} f 5(X0))
则求其偏差为:(Bias):
Bias( f ^ \widehat{f} f (X0))= E( f ^ \widehat{f} f (X0))- y0
方差:(variance):
var f ^ \widehat{f} f (X0)= 1/5( ( f ^ \widehat{f} f 1(X0)-E( f ^ \widehat{f} f (X0) )2 + ( f ^ \widehat{f} f 2(X0)-E( f ^ \widehat{f} f (X0) )2 + ( f ^ \widehat{f} f 3(X0)-E( f ^ \widehat{f} f (X0) )2 +( f ^ \widehat{f} f 4(X0)-E( f ^ \widehat{f} f (X0) )2+( f ^ \widehat{f} f 5(X0)-E( f ^ \widehat{f} f (X0) )2 )
均方误差:E(MSE)=var( f ^ \widehat{f} f (X0))+ [Bias( f ^ \widehat{f} f (X0))]2+var( ϵ \epsilon ϵ)