写在前面几类收敛依分布收敛(分布函数的弱收敛)依概率收敛定理rrr阶收敛定理以概率111收敛（几乎处处收敛）大数定律&中心极限定理大数定律伯努利(Bernoulli)大数定律切比雪夫(Chebyshev)大数定律马尔可夫(Markov)大数定律辛钦(Khinchin)大数定律泊松(Poisson)大数定律中心极限定理独立同分布情形林德伯格-列维(Lindeberg-Lévy)中心极限定理二项分布的正态近似棣莫弗-拉普拉斯(De Moivre-Laplace)中心极限定理应用独立不同分布情形林德伯格中心极限定理林德伯格条件林德伯格中心极限定理李雅普诺夫中心极限定理

写在前面

写一下大数定律，算是复习，也为以后的学习打好基础。本文总结自峁诗松老师的《概率论与数理统计教程（第二版）》及李贤平老师的《概率论基础（第二版）》。一些详细的定理讲解等内容可以从这两本教材中找到，需要资源可以私信我。

为什么要引入大数定律？在大量重复实验中，结果会呈现出明显的规律性，一般可总结为：“概率是频率的稳定值”，用数学语言表示这种稳定性，就是大数定律。

下面先介绍几类收敛，这是之后讨论的前提。

几类收敛

大数定律涉及依概率收敛，中心极限定理涉及依分布收敛。

依分布收敛(分布函数的弱收敛)

设随机变量X,X1,X2,⋯X,\ X_1,\ X_2,\ \cdotsX,X1​,X2​,⋯的分布函数分别为F(x),F1(x),F2(x),⋯.F(x),\ F_1(x),\ F_2(x),\ \cdots.F(x),F1​(x),F2​(x),⋯.若对F(x)F(x)F(x)的任一连续点xxx，都有

lim⁡n→∞Fn(x)=F(x),\lim\limits_{n\rightarrow\infty}F_n(x)=F(x), n→∞lim​Fn​(x)=F(x),

则称{Fn(x)}\{F_n(x)\}{Fn​(x)} 弱收敛于F(x)F(x)F(x)，记作Fn(x)⟶WF(x)F_n(x)\stackrel{W}{\longrightarrow} F(x)Fn​(x)⟶W​F(x)，也称{Xn}\{X_n\}{Xn​}依分布收敛(Convergence in distribution)于XXX，记作Xn⟶LXX_n\stackrel{L}{\longrightarrow}XXn​⟶L​X.

依概率收敛

设{Xn}\{X_n\}{Xn​}为一随机变量序列，XXX为一随机变量，如果对∀ε>0\forall \varepsilon>0∀ε>0，有

P(∣Xn−X∣⩾ε)→0(n→∞),P(|X_n-X|\geqslant\varepsilon)\rightarrow0\quad(n\rightarrow\infty), P(∣Xn​−X∣⩾ε)→0(n→∞),

则称序列{Xn}\{X_n\}{Xn​}依概率收敛(Convergence in probability)于XXX, 记作Xn⟶PXX_n\stackrel{P}{\longrightarrow}XXn​⟶P​X.

其含义是，序列XnX_nXn​对XXX的绝对偏差∣Xn−X∣|X_n-X|∣Xn​−X∣小于任意给定量的可能性将随着nnn的增大而越来越接近111, 即

∀ε>0,P(∣Xn−X∣<ε)→1,(n→∞).\forall \varepsilon>0,\ P(|X_n-X|<\varepsilon)\rightarrow 1,\ (n\rightarrow\infty). ∀ε>0,P(∣Xn​−X∣<ε)→1,(n→∞).

定理

Xn⟶PX⟹Xn⟶LXX_n\stackrel{P}{\longrightarrow}X\Longrightarrow X_n\stackrel{L}{\longrightarrow}XXn​⟶P​X⟹Xn​⟶L​X，说明依概率分布具有更强的形式；若ccc为常数，则Xn⟶Pc⟺Xn⟶LcX_n\stackrel{P}{\longrightarrow}c\iff X_n\stackrel{L}{\longrightarrow}cXn​⟶P​c⟺Xn​⟶L​c .

rrr阶收敛

设对随机变量XnX_nXn​及XXX有E∣Xn∣r<∞,E∣X∣r<∞E|X_n|^r<\infty,\ E|X|^r<\inftyE∣Xn​∣r<∞,E∣X∣r<∞, 其中r=const>0r=\mathrm{const}>0r=const>0, 如果

lim⁡n→∞E∣Xn−X∣r=0,\lim_{n\rightarrow \infty}E|X_n-X|^r=0, n→∞lim​E∣Xn​−X∣r=0,

则称{Xn}\{X_n\}{Xn​} r\mathbf{r}r阶收敛(Convergence in r-order mean)于XXX，并记为Xn⟶rXX_n\stackrel{r}{\longrightarrow} XXn​⟶r​X.

定理

Xn⟶rX⟹Xn⟶PXX_n\stackrel{r}{\longrightarrow} X\Longrightarrow X_n\stackrel{P}{\longrightarrow} XXn​⟶r​X⟹Xn​⟶P​X.

以概率111收敛（几乎处处收敛）

如果

P{lim⁡n→∞Xn=X}=1,P\{\lim_{n\rightarrow \infty}X_n=X\}=1, P{n→∞lim​Xn​=X}=1,

则称{Xn}\{X_n\}{Xn​}以概率111收敛(Convergence in probability 1)于XXX, 或{Xn}\{X_n\}{Xn​}几乎处处收敛于XXX，记Xn⟶a.s.XX_n\stackrel{a.s.}{\longrightarrow}XXn​⟶a.s.​X.

大数定律&中心极限定理

大数定律

大数定律讨论的是在什么条件下，随机变量序列的算术平均依概率收敛到其均值的算术平均。

下面这段话摘自Wikipedia，简单介绍了大数定律。大概意思是：大数定律描述了大量重复试验的结果，即结果的平均值应接近预期值，并随着试验次数的增加，结果将趋于预期值。

The law of large numbers (LLN) is a theorem that describes the result of performing the same experiment a large number of times. According to the law, the average of the results obtained from a large number of trials should be close to the expected value and will tend to become closer to the expected value as more trials are performed.

称随机变量序列{ξn}\{\xi_n\}{ξn​}服从大数定律(Law of Large Numbers，LLN)，如果存在常数序列a1,a2,⋯,an,⋯a_1,\ a_2,\ \cdots,\ a_n,\ \cdotsa1​,a2​,⋯,an​,⋯，对∀ε>0,\forall \varepsilon>0,∀ε>0, 令

ηn=ξ1+ξ2+⋯+ξnn\eta_n=\frac{\xi_1+\xi_2+\cdots+\xi_n}n ηn​=nξ1​+ξ2​+⋯+ξn​​

恒有：

lim⁡n→∞P{∣ηn−an∣<ε}=1\lim_{n\rightarrow \infty}P\left\{\left|\eta_n-a_n\right|<\varepsilon\right\}=1 n→∞lim​P{∣ηn​−an​∣<ε}=1

上述大数定律是一种广义的大数定律，下面具体介绍各种不同形式的大数定律。

伯努利(Bernoulli)大数定律

设sns_nsn​为nnn重伯努利试验中事件AAA发生的次数，ppp为每次试验中AAA出现的概率，则对∀ε>0\forall\varepsilon>0∀ε>0，有

lim⁡n→∞P(∣snn−p∣<ε)=1\lim_{n\rightarrow\infty}P\left(\left|\frac{s_n}{n}-p\right|<\varepsilon\right)=1 n→∞lim​P(∣∣∣​nsn​​−p∣∣∣​<ε)=1

证明思路：由于sn∼B(n,p)s_n\sim B(n,\ p)sn​∼B(n,p)，且E(snn)=p,D(snn)=p(1−p)nE(\frac{s_n}{n})=p,\ D(\frac{s_n}{n})=\frac{p(1-p)}{n}E(nsn​​)=p,D(nsn​​)=np(1−p)​，由此应用切比雪夫不等式P{∣X−EX∣<ε}⩾1−DXε2P\{|X-EX|<\varepsilon\}\geqslant1-\frac{DX}{\varepsilon^2}P{∣X−EX∣<ε}⩾1−ε2DX​，以及极限的迫敛性，可以证得结论。

说明：随着试验次数nnn的增大，事件AAA发生的频率snn\frac{s_n}{n}nsn​​与其频率ppp的偏差∣snn−p∣|\frac{s_n}{n}-p|∣nsn​​−p∣大于预先给定的精度ε\varepsilonε的可能性越来越小，这就是“频率稳定于概率”的含义。

切比雪夫(Chebyshev)大数定律

设{Xn}\{X_n\}{Xn​}为一列两两不相关的随机变量序列，若每个XiX_iXi​的方差存在，且有共同上界，即D(Xi)⩽c,i=1,2,⋯D(X_i)\leqslant c,\ i=1,\ 2,\ \cdotsD(Xi​)⩽c,i=1,2,⋯，则{Xn}\{X_n\}{Xn​}服从大数定律。用数学语言表示就是：对∀ε>0\forall \varepsilon>0∀ε>0 ，

lim⁡n→∞P{∣1n∑i=1nXi−1n∑i=1nEXi∣<ε}=1\lim_{n\rightarrow\infty}P\left\{\left|\frac1n\sum_{i=1}^{n}X_i-\frac1n\sum_{i=1}^nEX_i\right|<\varepsilon\right\}=1 n→∞lim​P{∣∣∣∣∣​n1​i=1∑n​Xi​−n1​i=1∑n​EXi​∣∣∣∣∣​<ε}=1

成立。

证明同样采用切比雪夫不等式，并运用方差的上界条件，即可证明。

马尔可夫(Markov)大数定律

对随机变量序列{Xn}\{X_n\}{Xn​}, 若马尔可夫条件成立，即下式

1n2D(∑i=1nXi)→0\frac1{n^2}D\left(\sum_{i=1}^nX_i\right)\rightarrow0 n21​D(i=1∑n​Xi​)→0

成立，则{Xn}\{X_n\}{Xn​}服从大数定律，即对∀ε>0\forall \varepsilon>0∀ε>0 ，

lim⁡n→∞P{∣1n∑i=1nXi−1n∑i=1nEXi∣<ε}=1\lim_{n\rightarrow\infty}P\left\{\left|\frac1n\sum_{i=1}^{n}X_i-\frac1n\sum_{i=1}^nEX_i\right|<\varepsilon\right\}=1 n→∞lim​P{∣∣∣∣∣​n1​i=1∑n​Xi​−n1​i=1∑n​EXi​∣∣∣∣∣​<ε}=1

成立。

一种比切比雪夫大数定律更强的结论，对序列{Xn}\{X_n\}{Xn​}没有同分布、独立、不相关的假设，可以推出切比雪夫大数定律。

辛钦(Khinchin)大数定律

设{Xn}\{X_n\}{Xn​}为一独立同分布的随机变量序列，若XiX_iXi​的数学期望存在，则{Xn}\{X_n\}{Xn​}服从大数定律，即对∀ε>0\forall \varepsilon>0∀ε>0 ，

lim⁡n→∞P{∣1n∑i=1nXi−1n∑i=1nEXi∣<ε}=1\lim_{n\rightarrow\infty}P\left\{\left|\frac1n\sum_{i=1}^{n}X_i-\frac1n\sum_{i=1}^nEX_i\right|<\varepsilon\right\}=1 n→∞lim​P{∣∣∣∣∣​n1​i=1∑n​Xi​−n1​i=1∑n​EXi​∣∣∣∣∣​<ε}=1

成立。

辛钦大数定律没有了序列{Xn}\{X_n\}{Xn​}的方差一定存在的条件，伯努利大数定律是辛钦大数定律的特例。

泊松(Poisson)大数定律

如果在一个独立试验序列中，事件AAA在第kkk次试验中出现的概率等于pkp_kpk​，前nnn次试验中事件AAA出现的次数记为μn\mu_nμn​, 则对∀ε>0\forall \varepsilon>0∀ε>0，有

lim⁡n→∞P{∣μnn−p1+p2+⋯+pnn∣<ε}=1.\lim_{n\rightarrow\infty}P\left\{\left|\frac{\mu_n}n-\frac {p_1+p_2+\cdots+p_n}{n}\right|<\varepsilon\right\}=1. n→∞lim​P{∣∣∣∣​nμn​​−np1​+p2​+⋯+pn​​∣∣∣∣​<ε}=1.

可以导出Poisson分布，是一种区别于伯努利试验的另一种独立试验模型。

中心极限定理

中心极限定理讨论了在怎样的条件下，独立随机变量之和Yn=∑i=1nXnY_n=\sum\limits_{i=1}^n X_nYn​=i=1∑n​Xn​的极限分布为正态分布。

考虑随机变量序列ξ1,ξ2,⋯,ξn,⋯\xi_1,\ \xi_2,\ \cdots,\ \xi_n,\ \cdotsξ1​,ξ2​,⋯,ξn​,⋯的标准化之和ζn\zeta_nζn​，ζn\zeta_nζn​定义如下：

ζn=∑i=1nξi∑i=1nEξi∑i=1nDξi\zeta_n=\frac{\sum\limits_{i=1}^n\xi_i\sum\limits_{i=1}^nE\xi_i}{\sqrt{\sum\limits_{i=1}^nD\xi_i}} ζn​=i=1∑n​Dξi​​i=1∑n​ξi​i=1∑n​Eξi​​

若ζn\zeta_nζn​满足

lim⁡n→∞P{ζn<x}=12π∫−∞xe−t22dt\lim\limits_{n\rightarrow \infty}P\{\zeta_n<x\}=\frac1{\sqrt{2\pi}}\int_{-\infty}^{x}\mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t n→∞lim​P{ζn​<x}=2π​1​∫−∞x​e−2t2​dt

则称随机变量序列{ξn}\{\xi_n\}{ξn​}服从中心极限定理(Central Limit Theorem)。

独立同分布情形

林德伯格-列维(Lindeberg-Lévy)中心极限定理

设{Xn}\{X_n\}{Xn​}为一独立同分布的随机变量序列，且EXi=μ,DXi=σ2>0EX_i=\mu,\ DX_i=\sigma^2>0EXi​=μ,DXi​=σ2>0 存在，若记

Yn∗=X1+X2+⋯+Xn−nμσn,Y^*_n=\frac{X_1+X_2+\cdots+X_n-n\mu}{\sigma\sqrt n}, Yn∗​=σn​X1​+X2​+⋯+Xn​−nμ​,

则对 ∀y∈R\forall y\in \mathbb{R}∀y∈R, 有

lim⁡n→∞P{Yn∗⩽y}=Φ(y)=12π∫−∞ye−t22dt.\lim\limits_{n\rightarrow \infty}P\{Y_n^*\leqslant y\}=\varPhi(y)=\frac1{\sqrt{2\pi}}\int_{-\infty}^{y}\mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. n→∞lim​P{Yn∗​⩽y}=Φ(y)=2π​1​∫−∞y​e−2t2​dt.

二项分布的正态近似

棣莫弗-拉普拉斯(De Moivre-Laplace)中心极限定理

设nnn重伯努利试验中，事件AAA在每次试验中出现的概率均为ppp，nnn次试验中事件AAA出现的次数记为sns_nsn​,并记

Yn∗=sn−npnpq,Y_n^*=\frac{s_n-np}{\sqrt{npq}}, Yn∗​=npq​sn​−np​,

则对 ∀y∈R\forall y\in \mathbb{R}∀y∈R, 有

lim⁡n→∞P{Yn∗⩽y}=Φ(y)=12π∫−∞ye−t22dt.\lim\limits_{n\rightarrow \infty}P\{Y_n^*\leqslant y\}=\varPhi(y)=\frac1{\sqrt{2\pi}}\int_{-\infty}^{y}\mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. n→∞lim​P{Yn∗​⩽y}=Φ(y)=2π​1​∫−∞y​e−2t2​dt.

应用

由棣莫弗-拉普拉斯中心极限定理，可以导出下面的近似式

P{Yn∗⩽y}≈Φ(y)=β,P\{Y_n^\ast\leqslant y\}\approx\varPhi(y)=\beta, P{Yn∗​⩽y}≈Φ(y)=β,

只需要知道其中两个变量，即可求出第三个（查正态分布表）。

导出伯努利大数定律。

独立不同分布情形

林德伯格中心极限定理

林德伯格条件

设{Xn}\{X_n\}{Xn​}是一个相互独立的随机变量序列，且有有限的数学期望和方差：

E(Xi)=μi,D(Xi)=σi2,i=1,2,⋯E(X_i)=\mu_i,\quad D(X_i)=\sigma_i^2,\quad i=1,\ 2,\ \cdotsE(Xi​)=μi​,D(Xi​)=σi2​,i=1,2,⋯并设随机变量之和Yn=∑i=1nXnY_n=\sum\limits_{i=1}^nX_nYn​=i=1∑n​Xn​，其标准化为

Yn∗=∑i=1nXi−μiσ(Yn),Y_n^*=\sum_{i=1}^n\frac{X_i-\mu_i}{\sigma(Y_n)}, Yn∗​=i=1∑n​σ(Yn​)Xi​−μi​​,则对∀τ>0\forall \tau>0∀τ>0，有

lim⁡n→∞1τ2σ2(Yn)∑i=1n∫∣x−μi∣>τσ(Yn)(x−μi)2pi(x)dx=0,(1)\lim_{n\rightarrow \infty}\frac1{\tau^2\sigma^2(Y_n)}\sum_{i=1}^n\int_{|x-\mu_i|>\tau\sigma(Y_n)}(x-\mu_i)^2p_i(x)\mathrm{d}x=0, \tag{1} n→∞lim​τ2σ2(Yn​)1​i=1∑n​∫∣x−μi​∣>τσ(Yn​)​(x−μi​)2pi​(x)dx=0,(1)称(1)(1)(1)式为林德伯格条件。林德伯格证明了满足(1)(1)(1)式的Yn∗Y_n^*Yn∗​的极限分布是正态分布，即下面的林德伯格中心极限定理。

林德伯格中心极限定理

设独立随机变量序列{Xn}\{X_n\}{Xn​}满足林德伯格条件，则对 ∀x\forall x∀x，有

lim⁡n→∞P{1σ(Yn)∑i=1n(Xi−μi)⩽x}=12π∫−∞xe−t22dt.\lim_{n\rightarrow\infty}P\left\{\frac1{\sigma(Y_n)}\sum_{i=1}^n(X_i-\mu_i)\leqslant x\right\}=\frac1{\sqrt{2\pi}}\int_{-\infty}^x\mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. n→∞lim​P{σ(Yn​)1​i=1∑n​(Xi​−μi​)⩽x}=2π​1​∫−∞x​e−2t2​dt.

注记：

若独立随机变量序列{Xn}\{X_n\}{Xn​}满足同分布、方差有限的条件，则必满足(1)(1)(1)的林德伯格条件，即林德伯格-列维中心极限定理是林德伯格中心极限定理的特例。

李雅普诺夫中心极限定理

设{Xn}\{X_n\}{Xn​}为独立随机变量序列，若存在δ>0\delta>0δ>0，满足

lim⁡n→∞1σ2+δ(Yn)∑i=1nE(∣Xi−μi∣2+δ)=0,\lim_{n\rightarrow\infty}\frac{1}{\sigma^{2+\delta}(Y_n)}\sum_{i=1}^{n}E(|X_i-\mu_i|^{2+\delta})=0, n→∞lim​σ2+δ(Yn​)1​i=1∑n​E(∣Xi​−μi​∣2+δ)=0,则对∀x\forall x∀x，有

lim⁡n→∞P{1σ(Yn)∑i=1n(Xi−μi)⩽x}=12π∫−∞xe−t22dt.\lim_{n\rightarrow\infty}P\left\{\frac1{\sigma(Y_n)}\sum_{i=1}^n(X_i-\mu_i)\leqslant x\right\}=\frac1{\sqrt{2\pi}}\int_{-\infty}^x\mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. n→∞lim​P{σ(Yn​)1​i=1∑n​(Xi​−μi​)⩽x}=2π​1​∫−∞x​e−2t2​dt.