定义 5.1（依概率收敛） 设 $\{X_n\}$ 是随机变量序列，$X$ 是随机变量（或常数 $a$），若对任意 $\varepsilon > 0$： $$\lim_{n \to \infty} P(|X_n - X| < \varepsilon) = 1$$ 或等价地 $$\lim_{n \to \infty} P(|X_n - X| \geq \varepsilon) = 0$$ 则称 $\{X_n\}$ 依概率收敛于 $X$，记为 $X_n \xrightarrow{P} X$。
性质： - 若 $X_n \xrightarrow{P} X$，$Y_n \xrightarrow{P} Y$，则 $X_n + Y_n \xrightarrow{P} X + Y$ - 若 $g(x)$ 连续，$X_n \xrightarrow{P} X$，则 $g(X_n) \xrightarrow{P} g(X)$
定理 5.1（切比雪夫不等式） 设随机变量 $X$ 的期望 $E(X)$ 和方差 $D(X)$ 都存在，则对任意 $\varepsilon > 0$： $$P(|X - E(X)| \geq \varepsilon) \leq \frac{D(X)}{\varepsilon^2}$$
或等价地 $$P(|X - E(X)| < \varepsilon) \geq 1 - \frac{D(X)}{\varepsilon^2}$$
证明：（连续型情形）
$$\begin{aligned}
D(X) &= \int_{-\infty}^{+\infty} (x - E(X))^2 f(x)dx
&\geq \int_{|x-E(X)| \geq \varepsilon} (x - E(X))^2 f(x)dx
&\geq \varepsilon^2 \int_{|x-E(X)| \geq \varepsilon} f(x)dx = \varepsilon^2 P(|X - E(X)| \geq \varepsilon)
\end{aligned}$$
意义： 给出了随机变量偏离其期望的概率上界。方差越小，偏离的概率越小。
例 5.1 设 $X \sim N(\mu, \sigma^2)$，用切比雪夫不等式估计 $P(|X - \mu| \geq 3\sigma)$。
解： $P(|X - \mu| \geq 3\sigma) \leq \frac{\sigma^2}{9\sigma^2} = \frac{1}{9} \approx 0.111$
（实际值约为 0.003，切比雪夫不等式给出的是较松的上界）
定义 5.2（大数定律） 设 $\{X_n\}$ 是随机变量序列，令 $\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i$，若存在常数序列 $\{a_n\}$ 使得 $$\bar{X}_n - a_n \xrightarrow{P} 0$$ 则称 $\{X_n\}$ 服从大数定律。
定理 5.2（切比雪夫大数定律） 设 $\{X_n\}$ 是两两不相关的随机变量序列，$E(X_i) = \mu_i$，$D(X_i) \leq C$（$i = 1, 2, \ldots$），则 $$\frac{1}{n}\sum_{i=1}^n X_i - \frac{1}{n}\sum_{i=1}^n \mu_i \xrightarrow{P} 0$$
特别地，若 $\mu_i = \mu$，则 $$\frac{1}{n}\sum_{i=1}^n X_i \xrightarrow{P} \mu$$
证明： $E\left(\frac{1}{n}\sum X_i\right) = \frac{1}{n}\sum \mu_i$
$D\left(\frac{1}{n}\sum X_i\right) = \frac{1}{n^2}\sum D(X_i) \leq \frac{nC}{n^2} = \frac{C}{n} \to 0$
由切比雪夫不等式即得结论。
定理 5.3（伯努利大数定律） 设 $n_A$ 是 $n$ 次独立重复试验中事件 $A$ 发生的次数，$p$ 是 $A$ 在每次试验中发生的概率，则 $$\frac{n_A}{n} \xrightarrow{P} p$$
意义： 频率的稳定性——当试验次数充分大时，频率依概率收敛于概率。
定理 5.4（辛钦大数定律） 设 $\{X_n\}$ 是独立同分布的随机变量序列，$E(X_i) = \mu$（$i = 1, 2, \ldots$），则 $$\frac{1}{n}\sum_{i=1}^n X_i \xrightarrow{P} \mu$$
注： 辛钦大数定律不要求方差存在。
定义 5.3（依分布收敛） 设 $\{X_n\}$ 是随机变量序列，分布函数为 $\{F_n(x)\}$，$X$ 是随机变量，分布函数为 $F(x)$，若在 $F(x)$ 的每个连续点 $x$ 都有 $$\lim_{n \to \infty} F_n(x) = F(x)$$ 则称 $\{X_n\}$ 依分布收敛于 $X$，记为 $X_n \xrightarrow{L} X$ 或 $X_n \xrightarrow{d} X$。
直观理解： 大量独立随机变量之和的分布近似于正态分布，无论单个变量的分布如何。
定理 5.5（独立同分布中心极限定理/列维-林德伯格定理） 设 $\{X_n\}$ 是独立同分布的随机变量序列，$E(X_i) = \mu$，$D(X_i) = \sigma^2 > 0$（$i = 1, 2, \ldots$），则 $$\frac{\sum_{i=1}^n X_i - n\mu}{\sigma\sqrt{n}} \xrightarrow{L} N(0, 1)$$
即对任意 $x$： $$\lim_{n \to \infty} P\left(\frac{\sum_{i=1}^n X_i - n\mu}{\sigma\sqrt{n}} \leq x\right) = \Phi(x)$$
等价表述： 当 $n$ 充分大时，$\sum_{i=1}^n X_i$ 近似服从 $N(n\mu, n\sigma^2)$，或 $$\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i$$ 近似服从 $N(\mu, \frac{\sigma^2}{n})$。
定理 5.6（棣莫弗-拉普拉斯中心极限定理） 设 $Y_n \sim B(n, p)$（$0 < p < 1$），则 $$\frac{Y_n - np}{\sqrt{np(1-p)}} \xrightarrow{L} N(0, 1)$$
意义： 二项分布的极限分布是正态分布。当 $n$ 很大时，可用正态分布近似计算二项分布的概率。
例 5.2 某计算机系统有 100 个终端，每个终端有 5% 的时间在使用，且各终端使用与否相互独立。求至少有 10 个终端在使用的概率。
解： 设 $X$ 为使用终端数，$X \sim B(100, 0.05)$
$np = 5$，$\sqrt{np(1-p)} = \sqrt{4.75} \approx 2.18$
$$P(X \geq 10) = P\left(\frac{X-5}{2.18} \geq \frac{10-5}{2.18}\right) \approx 1 - \Phi(2.29) \approx 1 - 0.9890 = 0.011$$
例 5.3 一生产线生产的产品成箱包装，每箱的重量是随机的。假设每箱平均重 50 千克，标准差为 5 千克。若用最大载重量为 5 吨的汽车承运，试利用中心极限定理说明每辆车最多可以装多少箱，才能保障不超载的概率大于 0.977。
解： 设 $n$ 为装箱数，$X_i$ 为第 $i$ 箱重量，总重量 $S_n = \sum_{i=1}^n X_i$
$E(S_n) = 50n$，$D(S_n) = 25n$
要求 $P(S_n \leq 5000) > 0.977 = \Phi(2)$
$$P\left(\frac{S_n - 50n}{5\sqrt{n}} \leq \frac{5000 - 50n}{5\sqrt{n}}\right) > \Phi(2)$$
需 $\frac{5000 - 50n}{5\sqrt{n}} \geq 2$，解得 $n \leq 98$
故最多可装 98 箱。
例题 5.1 设 $X_1, X_2, \ldots, X_n$ 独立同分布于 $U(0, 1)$，求 $Y_n = \sum_{i=1}^n X_i$ 的近似分布（$n$ 充分大时）。
解： $E(X_i) = \frac{1}{2}$，$D(X_i) = \frac{1}{12}$
由中心极限定理，$Y_n$ 近似服从 $N\left(\frac{n}{2}, \frac{n}{12}\right)$。
例题 5.2 用切比雪夫不等式证明：若 $D(X) = 0$，则 $P(X = E(X)) = 1$。
证明： 对任意 $\varepsilon > 0$，$P(|X - E(X)| \geq \varepsilon) \leq \frac{D(X)}{\varepsilon^2} = 0$
故 $P(|X - E(X)| < \varepsilon) = 1$，令 $\varepsilon \to 0$ 即得结论。
基础题 1. 设 $X$ 的方差为 2，用切比雪夫不等式估计 $P(|X - E(X)| \geq 2)$。
2. 设 $X_1, \ldots, X_{100}$ 独立同分布于 $P(0.5)$，用中心极限定理估计 $P(\sum_{i=1}^{100} X_i \geq 60)$。
提高题 3. 一复杂的系统由 $n$ 个相互独立起作用的部件组成，每个部件的可靠性为 0.9。且必须至少有 80% 的部件正常工作才能使整个系统正常工作。问 $n$ 至少为多大才能使系统的可靠性不低于 0.95？
4. 设 $\{X_n\}$ 独立同分布，$E(X_i^k) = \mu_k$ 存在，证明：$\frac{1}{n}\sum_{i=1}^n X_i^k \xrightarrow{P} \mu_k$。
挑战题 5. 设 $X_n \sim B(n, p_n)$，若 $np_n \to \lambda > 0$，证明： $$P(X_n = k) \to \frac{\lambda^k e^{-\lambda}}{k!}$$ （泊松定理）
6. 设 $X_1, X_2, \ldots$ 是独立同分布的随机变量序列，$E(X_i) = 0$，$D(X_i) = 1$。证明： $$\frac{X_1 + X_2 + \cdots + X_n}{\sqrt{n}} \xrightarrow{L} N(0, 1)$$
<html> <script type=“text/javascript” async
src="https://cdn.jsdelivr.net/npm/mathjax@3/es5/tex-mml-chtml.js">
</script> </html>