人们在长期实践中认识到频率具有稳定性，即当实验次数不断增加时，频率稳定在一个数附近，这一事实显示了可以用一个数来表征事件发生的可能性大小，这使人们认识到概率的客观存在，进而由频率的性质的启发和抽象给出了概率的定义，因而频率的稳定性是概率客观存在的基础，伯努利大数定理则以严密的数学形式论证了频率的稳定性。
在谈论伯努利大数定理之前，我们先看一下大数定理。
大数定律
随机事件A的频率当重复试验的次数增大时，总是呈现出稳定性，稳定在某一个常数附近。频率的稳定性是概率定义的客观基础。
伯努利大数定理
设是独立同分布的随机变量，记它们的公共均值为。又设它们的方差存在并记为。则对任意给定的，有
这个式子指出了“当很大时，接近”的确切含义。这里的“接近”是概率上的，也就是说虽然概率非常小，但还是有一定的概率出现意外情况（例如上面的式子中概率大于）。只是这样的可能性越来越小，这样的收敛性，在概率论中叫做“依概率收敛于”。
中心极限定理
"多个独立统计量的和的平均值，符合正态分布。"
中心极限定理用通俗的话来讲就是，假设有一个服从的总体，这个总体的分布可以是任意分布，不用是正态分布，既可以是离散的，也可以是连续的。我们从该分布里随机取个样本然后求这些样本的均值，这个过程我们重复次，我们就会得到如果，这些样本的均值服从的正态分布。
import numpy as npimport matplotlib.mlab as mlabimport matplotlib.pyplot as pltmu ,sigma = 0, 1sampleNum = 10np.random.seed(0)s = np.random.normal(mu, sigma, sampleNum)plt.hist(s, bins=100, density=True)plt.legend(labels=[ 'Number of samples %s' %sampleNum])plt.show()
上图中，随着统计量个数的增加，它们和的平均值越来越符合正态分布。
根据中心极限定理，如果一个事物受到多种因素的影响，不管每个因素本身是什么分布，它们加总后，结果的平均值就是正态分布。在实际问题中同样，常常需要考虑许多随机因素所产生的总影响。例如，许多因素决定了人的身高：营养、遗传、环境、族裔、性别等等，这些因素的综合效果，使得人的身高基本满足正态分布。另外，在物理实验中，免不了有误差，而误差形成的原因五花八门，各种各样。如果能够分别弄清楚产生误差的每种单一原因，误差的分布曲线可能不是高斯的。但是，当所有的误差加在一起时，实验者通常得到一个正态分布。
核心观念是无论之前各值的分布情况是怎么样的，取样计算的平均值会符合正态分布，这一点使得正态分布的适用范围很大，当然前提条件是取样是随机的，值是独立的。一般来讲取样数量大于30个（即）就可以让中心极限定理发挥作用。不同分布情况下取平均值后得到的正态分布可以见如下图示
比如说，我们将一枚均匀硬币抛4次，正反（1、0）出现的可能性有16种（可用从0000到1111的16个二进制数表示），大数定律中涉及的概率p=0.5，指的是这16种情形的平均值。而所谓“分布”，则是描述这16种可能性在概率图中分别所处的位置。从理论上说，这16种可能性中， 1出现0、1、2、3、4次的概率，分别是1/16、4/16、6/16、4/16、1/16。图2的左图显示的便是当实验次数n=4时，出现1的概率对不同“出现次数”的分布情形。
# -*- coding: utf-8 -*-"""Created on Tue Jul 30 18:52:49 @author: ZCJOHNLV"""from scipy.special import comb# 输入投硬币的次数n = 4index = []data = []for i in range(n+1):p = comb(n,i)*0.5**i*0.5**(n-i)data.append(p)index.append(i)print(data)import matplotlib.pyplot as pltimport numpy as npimport matplotlibmatplotlib.rcParams['font.sans-serif']=['SimHei'] # 用黑体显示中文matplotlib.rcParams['axes.unicode_minus']=False# 正常显示负号plt.bar(left=index, height=data, width=0.4, alpha=0.8, color='red')plt.xlabel("区间")plt.ylabel("频数")plt.title("%s次抛硬币正面向上的频率分布"%n)plt.show()
显而易见，抛硬币概率的分布图形随着抛丢次数n的变化而变化。抛硬币实验n次的概率分布称为二项分布。对对称硬币来说，二项分布是一个取值对应于二项式系数的离散函数，也就是帕斯卡三角形中的第n列。当实验次数n增大，可能的排列数也随之增多，比如，当n=4时对应于（1、4、6、4、1）；当n=5时，对应于帕斯卡三角形中的第5列（1、5、10、10、5、1）……，然后再依次类推下去。下图中，画出了n=5、20、50的概率分布图。
