📈大数定律与中心极限定理

\( \begin{aligned} &\textbf{大数定律的概念}\\ &\text{设随机变量序列 } X_1,X_2,\dots,X_n,\dots \text{ 满足：}\; \forall\,\varepsilon>0,\\ &\qquad \lim_{n\to\infty} P\!\left( \left| \frac{1}{n}\sum_{k=1}^{n} X_k \;- \frac{1}{n}\sum_{k=1}^{n} E(X_k) \right|<\varepsilon \right)=1,\\ &\text{则称该序列服从大数定律。} \end{aligned} \)

\(\begin{aligned} &\textbf{Chebyshev 不等式}\\ &\text{设随机变量 } X,\;E(X)=\mu,\;D(X)=\sigma^{2}.\; \text{则对任意正数 } \varepsilon>0, \text{恒有}\\[4pt] &P\!\left(|X-\mu|\ge \varepsilon\right) \le \dfrac{\sigma^{2}}{\varepsilon^{2}},\text{或等价地}P\!\left(|X-\mu|<\varepsilon\right) \ge 1-\dfrac{\sigma^{2}}{\varepsilon^{2}}. \end{aligned} \)

\( \begin{aligned} &\textbf{依概率收敛}\\ &\text{设随机变量序列 } Y_1,Y_2,\dots,Y_n,\dots ;\; X \text{ 为随机变量。}\\ &\text{若 } \forall\,\varepsilon>0,\\ &\qquad \displaystyle \lim_{n\to\infty} P\bigl(|Y_n-X|\ge \varepsilon\bigr)=0,\\ &\text{或等价地 } \displaystyle \lim_{n\to\infty} P\bigl(|Y_n-X|<\varepsilon\bigr)=1,\\ &\text{则称 } Y_1,Y_2,\dots,Y_n,\dots \text{ 依概率收敛于 } X,\; \text{记作 } Y_n \xrightarrow{\,P\,} X\;(n\to\infty). \end{aligned} \)

\( \begin{aligned} &\textbf{Bernoulli 伯努利大数定律}\\ &\text{设在 } n \text{ 次独立重复试验中，事件 } A \text{ 发生的次数为 } n_A,\; P(A)=p.\\ &\text{则对任意 } \varepsilon>0,\;\text{恒有}\\[4pt] &\qquad \lim_{n\to\infty} P\!\left( \left|\dfrac{n_A}{n}-p\right| \ge \varepsilon \right)=0,\\[8pt] &\text{或等价地}\\[4pt] &\qquad \lim_{n\to\infty} P\!\left( \left|\dfrac{n_A}{n}-p\right| < \varepsilon \right)=1.\\[10pt] &\text{即随机事件 } A \text{ 在 } n \text{ 次试验中的频率 } \dfrac{n_A}{n}\text{依概率收敛于其在一次试验中发生的概率 } p. \end{aligned} \)

\( \begin{aligned} &\textbf{Chebyshev 大数定律}\\ &\text{设随机变量序列 } X_1,X_2,\dots,X_n,\dots \text{ 两两不相关，}\\ &\text{且方差均存在，并有共同上界 } D(X_k)=\sigma_k^{2}\le \sigma^{2},\;k=1,2,\dots.\\ &\text{记 } E(X_k)=\mu_k.\;\text{则该序列服从大数定律，即}\\[6pt] &\qquad \lim_{n\to\infty} P\!\left( \left| \frac{1}{n}\sum_{k=1}^{n} X_k \;- \frac{1}{n}\sum_{k=1}^{n} \mu_k \right|<\varepsilon \right)=1, \quad \forall\,\varepsilon>0. \end{aligned} \)

\( \begin{aligned} &\textbf{Khintchine 大数定律}\\ &\text{设随机变量序列 } X_1,X_2,\dots,X_n,\dots \text{ 独立同分布，且其数学期望存在，}\\ &\qquad E(X_k)=\mu,\;k=1,2,\dots.\\ &\text{则该序列服从大数定律，即 } \forall\,\varepsilon>0,\\[6pt] &\qquad \lim_{n\to\infty} P\!\left( \left| \frac{1}{n}\sum_{k=1}^{n} X_k-\mu \right| \ge \varepsilon \right)=0,\\ &\text{或等价地}\\ &\qquad \lim_{n\to\infty} P\!\left( \left| \frac{1}{n}\sum_{k=1}^{n} X_k-\mu \right| < \varepsilon \right)=1. \end{aligned} \)

\( \begin{aligned} &\textbf{独立同分布的中心极限定理}\\ &\text{设随机变量序列 } X_1,X_2,\dots,X_n,\dots \text{ 独立同分布，}\\ &\text{且 } E(X_k)=\mu,\; D(X_k)=\sigma^{2}\gt 0,\;k=1,2,\dots.\\ &\text{则对任意实数 } x,\\[6pt] &\qquad \lim_{n\to\infty} P\!\left( \frac{\displaystyle\sum_{k=1}^{n} X_k-n\mu} {\sqrt{n}\,\sigma} \le x \right)=\Phi(x),\\[10pt] &\text{其中 } \displaystyle \Phi(x)=\frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{-t^{2}/2}\,dt \text{ 为标准正态分布函数。} \end{aligned} \)

\( \begin{aligned} &\textbf{De Moivre–Laplace 中心极限定理}\\ &\text{设随机变量 } Y_{n}\sim B(n,p),\;0 \lt p \lt 1,\;n=1,2,\dots.\\ &\text{则对任意实数 } x,\text{有}\\[4pt] &\qquad \lim_{n\to\infty} P\!\left( \frac{Y_{n}-np}{\sqrt{np(1-p)}}\le x \right) =\frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{-t^{2}/2}\,dt =\Phi(x).\\[8pt] &\text{即}\qquad \frac{Y_{n}-np}{\sqrt{np(1-p)}} \xrightarrow{\,\mathcal{D}\,} N(0,1),\\ &\text{或写作 } Y_{n}\sim N\bigl(np,\,np(1-p)\bigr).\\[10pt] &\text{因而对任意 } a \lt b,\text{有}\\[4pt] &\qquad \lim_{n\to\infty} P\!\left( a\lt \frac{Y_{n}-np}{\sqrt{np(1-p)}}\le b \right) =\frac{1}{\sqrt{2\pi}} \int_{a}^{b} e^{-t^{2}/2}\,dt. \end{aligned} \)