文章目录

1. 概率的性质2. 条件概率3. 古典概型4. 全概率与贝叶斯公式5. 事件的独立性6. 离散型随机变量分布律与分布函数7. 连续型随机变量概率的计算8. 连续型随机变量函数的分布9. 二维离散型随机变量的分布10. 二维连续型随机变量的分布11. 常见分布二项分布与泊松分布均匀分布正太分布12. 数学期望与方差和标准差13. 常用分布的期望和方差14. 协方差和相关系数15. 大数定律16. 中心极限定理17. 三大分布18. 点估计19. 极大似然估计

本博客主要用于记录概率论复习中的基础概念。

1. 概率的性质

加法公式：

①对于任意事件A,B，有P(A+B)=P(A)+P(B)−P(AB)P(A+B)=P(A)+P(B)-P(AB)P(A+B)=P(A)+P(B)−P(AB);

②P(A+B+C)=P(A)+P(B)+P(C)−P(AB)−P(AC)−P(BC)+P(ABC)P(A+B+C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)P(A+B+C)=P(A)+P(B)+P(C)−P(AB)−P(AC)−P(BC)+P(ABC)

理解：P(A)+P(B)导致P(AB)被多计算一次，因此需要减去一个P(AB)。P(A)+P(B)+P©导致P(ABC)被多计算两次，但P(AB), P(AC), P(BC)将P(ABC)减去三次，因此需要补上一个P(ABC)。

减法公式：

①对于任意事件A,B，有P(A−B)=P(A)−P(AB)P(A-B)=P(A)-P(AB)P(A−B)=P(A)−P(AB);

分配律：先并后交等于先交后并。

①P{(A∪B)∩C}=P{AC∪BC}P\{(A \cup B )\cap C \} = P\{AC \cup BC \}P{(A∪B)∩C}=P{AC∪BC}

②P{(A∩B)∪C}=P{(A∪C)∩(B∪C)}P\{(A \cap B )\cup C \} = P\{(A \cup C) \cap (B \cup C) \}P{(A∩B)∪C}=P{(A∪C)∩(B∪C)}

2. 条件概率

条件概率：事件A发生的条件下，事件B发生的概率为P(B∣A)=P(AB)P(A)P(B|A)=\frac{P(AB)}{P(A)}P(B∣A)=P(A)P(AB)​;乘法公式：若P(A)>0P(A)>0P(A)>0，则P(AB)=P(B∣A)P(A)P(AB)=P(B|A)P(A)P(AB)=P(B∣A)P(A);性质

①P(Bˉ∣A)=1−P(B∣A)P(\bar{B}|A)=1-P(B|A)P(Bˉ∣A)=1−P(B∣A)

②P(B∪C∣A)=P(B∣A)+P(C∣A)−P(BC∣A)P(B \cup C|A) = P(B|A)+P(C|A)-P(BC|A)P(B∪C∣A)=P(B∣A)+P(C∣A)−P(BC∣A);

3. 古典概型

若随机试验的样本空间Ω\OmegaΩ只有有限个样本点，且每个基本事件发生的可能性相等，则事件A发生的概率为A中所含样本点数k除以样本空间Ω\OmegaΩ所有样本点数n：P(A)=knP(A)=\frac{k}{n}P(A)=nk​;

①样本空间Ω\OmegaΩ只有有限个样本点。

②每个基本事件发生的可能性相等。

理解：古典概型是通过事件样本数除以总的测试样本数以近似事件发生的概率。

4. 全概率与贝叶斯公式

全概率公式：P(A)=∑i=1nP(ABi)=∑i=1nP(A∣Bi)P(Bi)P(A)=\sum_{i=1}^nP(AB_i)=\sum_{i=1}^n P(A|B_i)P(B_i)P(A)=∑i=1n​P(ABi​)=∑i=1n​P(A∣Bi​)P(Bi​)

当事件A可以分为几种情况时，A发生的概率就是这些情况对应概率之和贝叶斯公式：P(Bi∣A)=P(BiA)P(A)=P(A∣Bi)P(Bi)∑i=1nP(A∣Bi)P(Bi)P(B_i|A)=\frac{P(B_iA)}{P(A)}=\frac{P(A|B_i)P(B_i)}{\sum_{i=1}^n P(A|B_i)P(B_i)}P(Bi​∣A)=P(A)P(Bi​A)​=∑i=1n​P(A∣Bi​)P(Bi​)P(A∣Bi​)P(Bi​)​

假设事件A可以分成几种情况，当结果A发生了，需要判断是那种情况时，要用贝叶斯公式。

理解：贝叶斯公式一般用于已知事件B_i的概率和在事件B_i发生条件下A发生的条件概率时，因为不同B_i对应发生事件A的概率不同，利用贝叶斯公式求事件B_i发生的概率。根据公式可以知道，分母就是全概率公式对于所有的事件B都相同，导致结果不同的是分子即B_i发生的概率乘以A对应的条件概率。

5. 事件的独立性

事件A, B相互独立，则：

P(AB)=P(A)P(B)P(AB) = P(A)P(B)P(AB)=P(A)P(B)条件概率：P(B∣A)=P(B∣Aˉ)=P(B)P(B|A) = P(B|\bar{A})=P(B)P(B∣A)=P(B∣Aˉ)=P(B)联合分布律：P(X=xi,Y=yj)=P(X=xi)P(Y=yj)P(X=x_i,Y=y_j)=P(X=x_i)P(Y=y_j)P(X=xi​,Y=yj​)=P(X=xi​)P(Y=yj​)联合、边缘概率密度：f(x,y)=fX(x)fY(y)f(x,y)=f_X(x) f_Y(y)f(x,y)=fX​(x)fY​(y)数学期望：E(XY)=E(X)E(Y);E(XY)=E(X)E(Y);E(XY)=E(X)E(Y);方差：D(X±Y)=D(X)+D(Y);D(X \pm Y)=D(X)+D(Y);D(X±Y)=D(X)+D(Y);协方差：Cov(X,Y)=0;Cov(X,Y)=0;Cov(X,Y)=0;

6. 离散型随机变量分布律与分布函数

分布律：P(X=xk)=pkP(X=x_k)=p_kP(X=xk​)=pk​分布函数：F(x)=P(X≤x)=∑xk≤xpkF(x)=P(X \leq x)=\sum_{x_k \leq x} p_kF(x)=P(X≤x)=∑xk​≤x​pk​

①0≤F(x)≤10 \leq F(x) \leq 10≤F(x)≤1

②F(x)单调不减，右连续。概率：P(X≤a)=F(a)P(X \leq a)=F(a)P(X≤a)=F(a)

①P(X=a)=F(a)−F(a−1)P(X=a)=F(a)-F(a-1)P(X=a)=F(a)−F(a−1)

②P(X>a)=1−F(a)P(X>a)=1-F(a)P(X>a)=1−F(a)

③P(a<X≤b)=F(b)−F(a)P(a < X \leq b)=F(b)-F(a)P(a<X≤b)=F(b)−F(a)

7. 连续型随机变量概率的计算

分布函数：F(x)=P(X≤x)=∫−∞xf(t)dtF(x)=P(X \leq x)=\int_{-\infty}^x f(t)dtF(x)=P(X≤x)=∫−∞x​f(t)dt

①0≤F(x)≤10 \leq F(x) \leq 10≤F(x)≤1

②F(x)单调不减，右连续。概率密度：f(x),−∞<x<∞f(x),-\infty <x<\inftyf(x),−∞<x<∞

①f(x)≥0f(x) \geq 0f(x)≥0

②若f(x)连续，则F′(x)=f(x)F'(x)=f(x)F′(x)=f(x)概率：

①P(X=a)=0P(X=a)=0P(X=a)=0

②P(X<a)=P(x≤a)=1−F(a)P(X < a)=P(x \leq a)=1-F(a)P(X<a)=P(x≤a)=1−F(a)

注意：连续型随机变量在某一点处的概率为0，这是与离散型随机变量概率极大的不同点。

8. 连续型随机变量函数的分布

已知连续型随机变量X的概率密度函数为fX(x)f_X(x)fX​(x)，则Y=g(X)Y=g(X)Y=g(X)的概率密度的求解步骤为：

分布函数法：

①求出Y的分布函数，并利用关系Y=g(X)Y=g(X)Y=g(X)，将Y的范围转化为X的范围，利用X的分布获得Y的分布：

FY(y)=P(Y≤y)=P(g(X)≤y)=P(X∈Gy)=∫GyfX(x)dx;F_Y(y)=P(Y\leq y)=P(g(X) \leq y)=P(X \in G_y)=\int_{G_y} f_X(x)dx;FY​(y)=P(Y≤y)=P(g(X)≤y)=P(X∈Gy​)=∫Gy​​fX​(x)dx;

②求导得到fY(y)=FY′(y);f_Y(y)=F'_Y(y);fY​(y)=FY′​(y);

已知连续型随机变量X, Y的联合概率密度函数为f(x,y)f(x,y)f(x,y)，则Z=g(x,y)Z=g(x,y)Z=g(x,y)的概率密度函数为：

分布函数法：

①求Z=g(x,y)Z=g(x,y)Z=g(x,y)的分布函数：

F(z)=P(Z≤z)=P(g(x,y)≤z)=P((X,Y)∈Gz)=∫∫Gzf(x,y)dxdy;F(z)=P(Z \leq z)=P(g(x,y) \leq z)=P((X,Y) \in G_z)={\int\int}_{G_z}f(x,y)dxdy;F(z)=P(Z≤z)=P(g(x,y)≤z)=P((X,Y)∈Gz​)=∫∫Gz​​f(x,y)dxdy;

②求导得到f(z)=F′(z)f(z)=F'(z)f(z)=F′(z)

9. 二维离散型随机变量的分布

联合分布律、边缘分布律

若X, Y相互独立，则P(X=xi,Y=yj)=P(X=xi)×P(Y=yj)P(X=x_i,Y=y_j)=P(X=x_i)\times P(Y=y_j)P(X=xi​,Y=yj​)=P(X=xi​)×P(Y=yj​)

10. 二维连续型随机变量的分布

联合分布函数：F(x,y)=P{X≤x,Y≤y}=∫−∞x∫−∞yf(u,v)dudv;F(x,y)=P\{X \leq x, Y \leq y\}=\int_{-\infty}^x\int_{-\infty}^yf(u,v)dudv;F(x,y)=P{X≤x,Y≤y}=∫−∞x​∫−∞y​f(u,v)dudv;联合概率密度：f(x,y)>0,∫−∞∞∫−∞∞f(x,y)dxdy=1f(x,y)>0,\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(x,y)dxdy=1f(x,y)>0,∫−∞∞​∫−∞∞​f(x,y)dxdy=1边缘概率密度：fX(x)=∫−∞∞f(x,y)dy;fY(y)=∫−∞∞f(x,y)dxf_X(x)=\int_{-\infty}^{\infty}f(x,y)dy; \ \ \ f_Y(y)=\int_{-\infty}^{\infty}f(x,y)dxfX​(x)=∫−∞∞​f(x,y)dy;fY​(y)=∫−∞∞​f(x,y)dx条件概率密度：fY∣X(y∣x)=f(x,y)fX(x);fX∣Y(x∣y)=f(x,y)fY(y)f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}; \ \ \ f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}fY∣X​(y∣x)=fX​(x)f(x,y)​;fX∣Y​(x∣y)=fY​(y)f(x,y)​若X和Y相互独立，f(x,y)=fX(x)fY(y)f(x,y)=f_X(x) f_Y(y)f(x,y)=fX​(x)fY​(y)

11. 常见分布

二项分布与泊松分布

二项分布：B(n,p)B(n,p)B(n,p)，其中n表示n重伯努利试验中A发生的次数，X∼B(n,p)X \sim B(n,p)X∼B(n,p)，其中p表示每次试验中A发生的概率。

①分布律：P{X=k}=Cnkpk(1−p)n−kP\{X=k\}=C_n^kp^k(1-p)^{n-k}P{X=k}=Cnk​pk(1−p)n−k;表示事件A发生k次的概率。

泊松分布：P(λ)P(\lambda)P(λ)，若X∼B(n,p)X \sim B(n,p)X∼B(n,p)，当n较大，p较小时，X近似服从P(np)P(np)P(np)。

①分布律：P{X=k}=λke−λk!P\{X=k\}=\frac{\lambda^k e^{-\lambda}}{k!}P{X=k}=k!λke−λ​

均匀分布

均匀分布：U(a,b)U(a,b)U(a,b)

①概率密度函数：f(x)={1b−a,a<x<b0,elsef(x)=\begin{cases}\frac{1}{b-a}, &a<x<b \\ 0, & else \end{cases}f(x)={b−a1​,0,​a<x<belse​

正太分布

正太分布：N(μ,σ2)N(\mu,\sigma^2)N(μ,σ2)

①概率密度函数：12πσe−(x−μ)22σ2\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}2π​σ1​e−2σ2(x−μ)2​

②当μ=0,σ=1\mu=0,\sigma=1μ=0,σ=1时，为标准正太分布X∼N(0,1);X \sim N(0,1);X∼N(0,1);

12. 数学期望与方差和标准差

离散型随机变量的期望：E(X)=∑i=1∞xipiE(X)=\sum_{i=1}^\infty x_ip_iE(X)=∑i=1∞​xi​pi​连续型随机变量的期望：E(X)=∫−∞∞xf(x)dxE(X)=\int_{-\infty}^\infty xf(x)dxE(X)=∫−∞∞​xf(x)dx期望的性质

①E(C)=C;E(C)=C;E(C)=C;

②E(CX)=CE(X);E(CX)=CE(X);E(CX)=CE(X);

③E(X+Y)=E(X)+E(Y);E(X+Y)=E(X)+E(Y);E(X+Y)=E(X)+E(Y);

③若X, Y相互独立，E(XY)=E(X)E(Y);E(XY)=E(X)E(Y);E(XY)=E(X)E(Y);

方差：D(X)=E[X−E(X)]2=E(X2)−E(X)2D(X)=E[X-E(X)]^2=E(X^2)-E(X)^2D(X)=E[X−E(X)]2=E(X2)−E(X)2

理解：方差等于平方的期望减去期望的平方。

标准差：σ=D(X)\sigma=\sqrt{D(X)}σ=D(X)​

方差的性质

①D(C)=0;D(C)=0;D(C)=0;

②D(X+C)=D(X);D(X+C)=D(X);D(X+C)=D(X);

③D(CX)=C2E(X);D(CX)=C^2E(X);D(CX)=C2E(X);

④D(X±Y)=D(X)+D(Y)±2E{[X−E[X]][Y−E[Y]]}=D(X)+D(Y)±Cov(X,Y);D(X \pm Y)=D(X)+D(Y) \pm 2E\{[X-E[X]][Y-E[Y]] \}=D(X)+D(Y)\pm Cov(X,Y);D(X±Y)=D(X)+D(Y)±2E{[X−E[X]][Y−E[Y]]}=D(X)+D(Y)±Cov(X,Y);

⑤若X, Y相互独立，D(X±Y)=D(X)+D(Y);D(X \pm Y)=D(X)+D(Y);D(X±Y)=D(X)+D(Y);

13. 常用分布的期望和方差

14. 协方差和相关系数

协方差：Cov(X,Y)=E(XY)−E(X)E(Y);Cov(X,Y)=E(XY)-E(X)E(Y);Cov(X,Y)=E(XY)−E(X)E(Y);

相关系数：ρXY=Cov(X,Y)D(X)DY\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)D{Y}}}ρXY​=D(X)DY​Cov(X,Y)​

理解：当X, Y相互独立时，它们的协方差和相关系数为0.

协方差的性质：

①Cov(X,C)=0;Cov(X,C)=0;Cov(X,C)=0;

②Cov(aX,bY)=abCov(X,Y);Cov(aX,bY)=abCov(X,Y);Cov(aX,bY)=abCov(X,Y);

③Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y);Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y);Cov(X1​+X2​,Y)=Cov(X1​,Y)+Cov(X2​,Y);

④D(X±Y)=D(X)+D(Y)±2Cov(X,Y);D(X \pm Y)=D(X)+D(Y) \pm 2Cov(X,Y);D(X±Y)=D(X)+D(Y)±2Cov(X,Y);

⑤若X, Y相互独立，则Cov(X,Y)=0;Cov(X,Y)=0;Cov(X,Y)=0;

15. 大数定律

辛钦大数定理：对于独立同分布且具有均值μ\muμ的随机变量X1,X2,⋯,XnX_1,X_2,\cdots,X_nX1​,X2​,⋯,Xn​，当n充分大时，它们的算数平均1n∑i=1nXi\frac{1}{n}\sum_{i=1}^nX_in1​∑i=1n​Xi​很可能接近于μ\muμ。

理解：对独立同分布的随机变量求和，当n充分大时，求和的均值与分布均值相似。

伯努利大数定理：设fAf_AfA​是n次独立重复实验中事件A发生的次数，p是事件A在每次试验中发生的概率，则对于任意正数ϵ>0\epsilon>0ϵ>0有：lim⁡n→∞P(∣fAn−p∣<ϵ)=1\lim_{n \to \infty}P(|\frac{f_A}{n}-p|<\epsilon)=1limn→∞​P(∣nfA​​−p∣<ϵ)=1。

理解：对于n次独立重复实验，当n充分大时，事件发生的比例可以近似于事件发生的概率。

16. 中心极限定理

设随机变量X1,X2,⋯X_1,X_2,\cdotsX1​,X2​,⋯独立同分布，E(Xk)=μ,D(Xk)=σ2E(X_k)=\mu,D(X_k)=\sigma^2E(Xk​)=μ,D(Xk​)=σ2，则当n充分大时，近似有∑k=1nXk∼N(nμ,nσ2)，即∑k=1nXk−nμnσ∼N(0,1)\sum_{k=1}^nX_k \sim N(n\mu,n\sigma^2)，即\frac{\sum_{k=1}^nX_k-n\mu}{\sqrt{n}\sigma}\sim N(0,1)∑k=1n​Xk​∼N(nμ,nσ2)，即n​σ∑k=1n​Xk​−nμ​∼N(0,1)。

理解：独立同分布的随机变量求和，当n趋近于无穷大时，它们和的分布趋近于正太分布。

设随机变量X∼B(n,p)X \sim B(n,p)X∼B(n,p)，当n充分大时，近似有X∼N(np,npq)，即X−npnpq∼N(0,1)X \sim N(np,npq)，即\frac{X-np}{\sqrt{npq}}\sim N(0,1)X∼N(np,npq)，即npq​X−np​∼N(0,1)。

理解：对于二项分布，当n充分大时二项分布可以近似于泊松分布和正态分布（中心极限定理）。

17. 三大分布

χ2(n)\chi^2(n)χ2(n)分布：若X1,X2,⋯,XnX_1,X_2,\cdots,X_nX1​,X2​,⋯,Xn​相互独立，且Xi∼N(0,1)X_i \sim N(0,1)Xi​∼N(0,1)，则X12+X22+⋯+Xn2∼χ2(n);X_1^2+X_2^2+\cdots+X_n^2 \sim \chi^2(n);X12​+X22​+⋯+Xn2​∼χ2(n);

理解：χ(n)2\chi(n)^2χ(n)2分布就是服从于正态分布N(0,1)的相互独立的随机变量的平方和。

t(n)t(n)t(n)分布：设X∼N(0,1),Y∼χ2(n)X \sim N(0,1),Y\sim \chi^2(n)X∼N(0,1),Y∼χ2(n)，X, Y相互独立，则T=XY/n∼t(n)T=\frac{X}{\sqrt{Y/n}}\sim t(n)T=Y/n​X​∼t(n)。

理解：t(n)t(n)t(n)分布就是正态分布除以χ2(n)\chi^2(n)χ2(n)分布。

FFF分布：设X∼χ2(n1),Y∼χ2(n2)X \sim \chi^2(n_1),Y \sim \chi^2(n_2)X∼χ2(n1​),Y∼χ2(n2​)，X, Y相互独立，则F=X/n1Y/n2F=\frac{X/n_1}{Y/n_2}F=Y/n2​X/n1​​。

理解：FFF分布就是两个χ2\chi^2χ2分布相除。

18. 点估计

求解步骤：

①写出总体一阶矩E(X)=g(θ)E(X)=g(\theta)E(X)=g(θ)，和样本一阶矩Xˉ\bar{X}Xˉ。

②令总体矩=样本矩，反解出矩估计量θ^=h(Xˉ)\hat{\theta}=h(\bar{X})θ^=h(Xˉ)。

19. 极大似然估计

离散型总体的最大似然估计：

①计算似然函数L(θ)=∏i=1np(xi,θ);L(\theta)=\prod_{i=1}^n p(x_i,\theta);L(θ)=∏i=1n​p(xi​,θ);

②对似然函数取对数ln⁡L(θ)=∑i=1nln⁡p(xi,θ);\ln L(\theta)=\sum_{i=1}^n \ln p(x_i,\theta);lnL(θ)=∑i=1n​lnp(xi​,θ);

③令ddθln⁡L(θ)=0\frac{d}{d\theta}\ln L(\theta)=0dθd​lnL(θ)=0，解出最大似然估计θ^;\hat{\theta};θ^;

连续型总体的最大似然估计：

①计算似然函数L(θ)=∏i=1nf(xi,θ);L(\theta)=\prod_{i=1}^n f(x_i,\theta);L(θ)=∏i=1n​f(xi​,θ);

②对似然函数取对数ln⁡L(θ)=∑i=1nln⁡f(xi,θ);\ln L(\theta)=\sum_{i=1}^n \ln f(x_i,\theta);lnL(θ)=∑i=1n​lnf(xi​,θ);

③令ddθln⁡L(θ)=0\frac{d}{d\theta}\ln L(\theta)=0dθd​lnL(θ)=0，解出最大似然估计θ^;\hat{\theta};θ^;