文章目录

一、依概率收敛二、大数定律1. 切比雪夫大数定律2. 伯努利大数定律3. 辛钦大数定律三、中心极限定理

一、依概率收敛

定义：设随机变量 XXX 与随机变量序列 {Xn}(n=1,2,3,...)\{X_n\}(n=1,2,3,...){Xn​}(n=1,2,3,...)，如果对任意的 ϵ>0\epsilon > 0ϵ>0 ，有

​ lim⁡n→∞P{∣Xn−X∣≥ϵ}=0或lim⁡n→∞P{∣Xn−X∣<ϵ}=1\lim\limits_{n\to\infin}P\{|X_n-X| \geq \epsilon\} = 0 或 \lim\limits_{n\to\infin}P\{|X_n-X| < \epsilon\} = 1n→∞lim​P{∣Xn​−X∣≥ϵ}=0或n→∞lim​P{∣Xn​−X∣<ϵ}=1

则称随机变量序列 {Xn}\{X_n\}{Xn​} 依概率收敛于随机变量 XXX，记为

​ lim⁡i→∞Xn=X(P)或Xn⟶PX(n→∞)\lim\limits_{i\to \infin} X_n = X(P) 或 X_n\stackrel{P}{\longrightarrow}X(n\to \infin) i→∞lim​Xn​=X(P)或Xn​⟶P​X(n→∞)注：以上定义中将随机变量 XXX 写成数 aaa 也成立

二、大数定律

在满足一定的条件下，所有大数定律的结论均为：随机变量均值依概率收敛到均值的期望，即：

​ 1n∑i=1nXi⟶PE(1n∑i=1nXi)\frac{1}{n}\sum\limits_{i=1}^n X_i\stackrel{P}{\longrightarrow} E(\frac{1}{n}\sum\limits_{i=1}^nX_i)n1​i=1∑n​Xi​⟶P​E(n1​i=1∑n​Xi​)大数定律的意义在于：期望是一个确定的数，不是变量，大数定律体现了随机变量均值的稳定性，在大样本的情况下，随机变量均值趋于某稳定常数。

1. 切比雪夫大数定律

假设{Xn}(n=1,2,...)\{X_n\}(n = 1,2,...){Xn​}(n=1,2,...)是相互独立的随机变量序列，如果方差 DXi(i≥1)DX_i(i\geq1)DXi​(i≥1)存在且一致有上界，即存在常数 CCC ，使DXi≤CDX_i\leq CDXi​≤C 对一切 i≥1i \geq 1i≥1均成立，则 {Xi}\{X_i\}{Xi​} 服从大数定律

​ 1n∑i=1nXi⟶P1n∑i=1nEXi​即Xˉ⟶PEXˉ\frac{1}{n}\sum\limits_{i=1}^n X_i\stackrel{P}{\longrightarrow} \frac{1}{n}\sum\limits_{i=1}^n EX_i\\ ​ 即 \bar{X} \stackrel{P}{\longrightarrow} E\bar{X} n1​i=1∑n​Xi​⟶P​n1​i=1∑n​EXi​​即Xˉ⟶P​EXˉ

即随机变量均值依概率收敛到自己的期望

条件

随机变量序列相互独立方差一致有上界

2. 伯努利大数定律

假设 μn\mu_nμn​ 是n重伯努利实验中事件A发生的次数，在每次试验中事件A方式的概率为 p(0<p<1)p(0<p<1)p(0<p<1)，则 μnn⟶Pp\frac{\mu_n}{n} \stackrel{P}{\longrightarrow}pnμn​​⟶P​p，即对于任意 ϵ>0\epsilon > 0ϵ>0，有

​ lim⁡n→∞P{∣μnn−p∣<ϵ}=1\lim\limits_{n\to \infin} P\{|\frac{\mu_n}{n}-p|<\epsilon\} = 1n→∞lim​P{∣nμn​​−p∣<ϵ}=1

说明

伯努利试验（Bernoulli experiment）是在同样的条件下重复地、相互独立地进行的一种随机试验，其特点是该随机试验只有两种可能结果：发生或者不发生。抛硬币就是一种伯努利试验n重伯努利实验就是重复做n次伯努利试验。

这个定律就是形式化地描述了一个现象：随机事件发生的频率依概率收敛到概率

3. 辛钦大数定律

假设 {Xn}\{X_n\}{Xn​} 是独立同分布的随机变量序列，如果 EXi=μ(i=1,2,...)EX_i = \mu(i=1,2,...)EXi​=μ(i=1,2,...)存在，则 1n∑i=1nXi⟶Pμ\frac{1}{n} \sum\limits_{i=1}^n X_i \stackrel{P}{\longrightarrow} \mun1​i=1∑n​Xi​⟶P​μ，即对于任意 ϵ>0\epsilon > 0ϵ>0，有

lim⁡n→∞P{∣1n∑i=1nXi−μ∣<ϵ}=1​即Xˉ=1n∑i=1nXi⟶Pμ=EXi=E(1n∑i=1nXi)=EXˉ\lim\limits_{n\to \infin}P\{|\frac{1}{n} \sum\limits_{i=1}^n X_i-\mu|<\epsilon\} = 1 \\ ​ 即\bar{X} = \frac{1}{n} \sum\limits_{i=1}^n X_i \stackrel{P}{\longrightarrow} \mu = EX_i = E(\frac{1}{n} \sum\limits_{i=1}^n X_i) = E\bar{X} n→∞lim​P{∣n1​i=1∑n​Xi​−μ∣<ϵ}=1​即Xˉ=n1​i=1∑n​Xi​⟶P​μ=EXi​=E(n1​i=1∑n​Xi​)=EXˉ

即随机变量均值依概率收敛到自己的期望

条件

随机变量相互独立随机变量同分布随机变量期望存在

三、中心极限定理

所有中心极限定理其实在说这样一件事：若随机变量序列 {Xi}\{X_i\}{Xi​}独立同分布，它们服从分布 FFF， 有 EXi=μ,DXi=σ2EX_i=\mu,DX_i = \sigma^2EXi​=μ,DXi​=σ2，则 ∑i=1nXi\sum\limits_{i=1}^nX_ii=1∑n​Xi​ 在大样本情况下服从正态分布N(nμ,nσ2)N(n\mu,n\sigma^2)N(nμ,nσ2)，再标准化后服从标准正太分布，即

​ 若Xi∼i.i.dF,EXi=μ,DXi=σ2则∑i=1nXi∼n→∞N(nμ,nσ2)即∑i=1nXi−nμnσ∼n→∞N(0,1)若 X_i \stackrel{i.i.d}{\sim} F,EX_i = \mu,DX_i = \sigma^2\\ 则\sum\limits_{i=1}^nX_i \stackrel{n\to\infin}{\sim} N(n\mu,n\sigma^2) \\ 即\frac{\sum\limits_{i=1}^nX_i-n\mu}{\sqrt{n}\sigma}\stackrel{n\to\infin}{\sim}N(0,1)若Xi​∼i.i.dF,EXi​=μ,DXi​=σ2则i=1∑n​Xi​∼n→∞N(nμ,nσ2)即n​σi=1∑n​Xi​−nμ​∼n→∞N(0,1)

​

两种常见的中心极限定理

这里定理四就是构造了标准化正态分布，在大样本情况下满足标准正态分布的分布函数定理五就是指定了一个二项分布，二项分布可以拆开成n个两点分布 B(1,p)B(1,p)B(1,p) 求和，然后带入定理四得到