张叶安的小站

本页面只读。您可以查看源文件，但不能更改它。如果您觉得这是系统错误，请联系管理员。
====== 第四章 数字特征 ======

===== 4.1 数学期望 =====

==== 4.1.1 数学期望的概念 ====

**引例：** 某射手射击 100 次，成绩如下：
- 命中 10 环：20 次
- 命中 9 环：50 次
- 命中 8 环：25 次
- 命中 7 环：5 次

平均环数 = $\frac{10 \times 20 + 9 \times 50 + 8 \times 25 + 7 \times 5}{100} = 10 \times 0.2 + 9 \times 0.5 + 8 \times 0.25 + 7 \times 0.05 = 8.85$

**定义 4.1（离散型随机变量的数学期望）**
设离散型随机变量 $X$ 的分布律为 $P(X = x_k) = p_k$（$k = 1, 2, \ldots$），若级数 $\sum_{k=1}^{\infty} |x_k|p_k$ 收敛，则称
$$E(X) = \sum_{k=1}^{\infty} x_k p_k$$
为 $X$ 的**数学期望**（简称**期望**或**均值**）。

**定义 4.2（连续型随机变量的数学期望）**
设连续型随机变量 $X$ 的概率密度为 $f(x)$，若积分 $\int_{-\infty}^{+\infty} |x|f(x)dx$ 收敛，则称
$$E(X) = \int_{-\infty}^{+\infty} xf(x)dx$$
为 $X$ 的**数学期望**。

**意义：** 数学期望反映了随机变量取值的"平均水平"。

==== 4.1.2 常见分布的数学期望 =====

**1. 0-1 分布：** $E(X) = p$

**2. 二项分布 $B(n, p)$：** $E(X) = np$

**证明：** $E(X) = \sum_{k=0}^n k C_n^k p^k (1-p)^{n-k} = np\sum_{k=1}^n C_{n-1}^{k-1} p^{k-1} (1-p)^{n-k} = np$

**3. 泊松分布 $P(\lambda)$：** $E(X) = \lambda$

**证明：** $E(X) = \sum_{k=0}^{\infty} k \frac{\lambda^k e^{-\lambda}}{k!} = \lambda e^{-\lambda}\sum_{k=1}^{\infty} \frac{\lambda^{k-1}}{(k-1)!} = \lambda e^{-\lambda} e^{\lambda} = \lambda$

**4. 均匀分布 $U(a, b)$：** $E(X) = \frac{a+b}{2}$

**证明：** $E(X) = \int_a^b x \cdot \frac{1}{b-a}dx = \frac{1}{b-a} \cdot \frac{b^2-a^2}{2} = \frac{a+b}{2}$

**5. 指数分布 $E(\lambda)$：** $E(X) = \frac{1}{\lambda}$

**证明：** $E(X) = \int_0^{\infty} x \lambda e^{-\lambda x}dx = \frac{1}{\lambda}\int_0^{\infty} t e^{-t}dt = \frac{1}{\lambda}$

**6. 正态分布 $N(\mu, \sigma^2)$：** $E(X) = \mu$

**证明：** 令 $t = \frac{x-\mu}{\sigma}$，则
$$E(X) = \int_{-\infty}^{+\infty} x \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty} (\sigma t + \mu) e^{-\frac{t^2}{2}}dt = \mu$$

==== 4.1.3 随机变量函数的数学期望 =====

**定理 4.1**
设 $Y = g(X)$：

(1) 若 $X$ 是离散型，$P(X = x_k) = p_k$，则
$$E(Y) = E(g(X)) = \sum_{k=1}^{\infty} g(x_k) p_k$$

(2) 若 $X$ 是连续型，密度为 $f(x)$，则
$$E(Y) = E(g(X)) = \int_{-\infty}^{+\infty} g(x) f(x)dx$$

**例 4.1** 设 $X \sim U(0, 2\pi)$，求 $E(\sin X)$。

**解：**
$$E(\sin X) = \int_0^{2\pi} \sin x \cdot \frac{1}{2\pi}dx = \frac{1}{2\pi}[-\cos x]_0^{2\pi} = 0$$

**定理 4.2（二维情形）**
设 $Z = g(X, Y)$：

(1) 离散型：$E(Z) = \sum_i\sum_j g(x_i, y_j)p_{ij}$

(2) 连续型：$E(Z) = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} g(x, y)f(x, y)dxdy$

==== 4.1.4 数学期望的性质 =====

**性质 1：** $E(C) = C$（$C$ 为常数）

**性质 2：** $E(CX) = CE(X)$

**性质 3：** $E(X + Y) = E(X) + E(Y)$

**推广：** $E(X_1 + X_2 + \cdots + X_n) = E(X_1) + E(X_2) + \cdots + E(X_n)$

**性质 4：** 若 $X, Y$ 独立，则 $E(XY) = E(X)E(Y)$

**推广：** 若 $X_1, X_2, \ldots, X_n$ 相互独立，则 $E(X_1X_2\cdots X_n) = E(X_1)E(X_2)\cdots E(X_n)$

**例 4.2** 将 $n$ 个球随机放入 $N$ 个盒子中（$n \leq N$），每个球等可能落入任一盒。求有球盒子数 $X$ 的期望。

**解：** 设 $X_i = \begin{cases} 1, & \text{第 } i \text{ 个盒子有球} \\ 0, & \text{否则} \end{cases}$，则 $X = X_1 + X_2 + \cdots + X_N$

$P(X_i = 0) = \left(\frac{N-1}{N}\right)^n$，$P(X_i = 1) = 1 - \left(1 - \frac{1}{N}\right)^n$

$E(X_i) = 1 - \left(1 - \frac{1}{N}\right)^n$

$E(X) = N\left[1 - \left(1 - \frac{1}{N}\right)^n\right]$

===== 4.2 方差 =====

==== 4.2.1 方差的概念 ====

**引例：** 设甲、乙两射手的平均命中环数都是 8.5 环，但甲的发挥稳定，乙的发挥波动大。如何量化这种差异？

**定义 4.3（方差）**
设 $X$ 是随机变量，若 $E[(X - E(X))^2]$ 存在，则称它为 $X$ 的**方差**，记为 $D(X)$ 或 $Var(X)$。

$$D(X) = E[(X - E(X))^2]$$

称 $\sigma(X) = \sqrt{D(X)}$ 为 $X$ 的**标准差**或**均方差**。

**方差的计算公式：**
$$D(X) = E(X^2) - [E(X)]^2$$

**证明：** $D(X) = E[(X - E(X))^2] = E[X^2 - 2XE(X) + (E(X))^2] = E(X^2) - 2[E(X)]^2 + [E(X)]^2 = E(X^2) - [E(X)]^2$

**意义：** 方差反映了随机变量取值相对于均值的分散程度。方差越小，取值越集中。

==== 4.2.2 常见分布的方差 =====

**1. 0-1 分布：** $D(X) = p(1-p)$

**2. 二项分布 $B(n, p)$：** $D(X) = np(1-p)$

**3. 泊松分布 $P(\lambda)$：** $D(X) = \lambda$

**4. 均匀分布 $U(a, b)$：** $D(X) = \frac{(b-a)^2}{12}$

**证明：** $E(X^2) = \int_a^b x^2 \frac{1}{b-a}dx = \frac{b^3-a^3}{3(b-a)} = \frac{a^2+ab+b^2}{3}$

$D(X) = \frac{a^2+ab+b^2}{3} - \left(\frac{a+b}{2}\right)^2 = \frac{(b-a)^2}{12}$

**5. 指数分布 $E(\lambda)$：** $D(X) = \frac{1}{\lambda^2}$

**6. 正态分布 $N(\mu, \sigma^2)$：** $D(X) = \sigma^2$

==== 4.2.3 方差的性质 =====

**性质 1：** $D(C) = 0$（$C$ 为常数）

**性质 2：** $D(CX) = C^2D(X)$

**性质 3：** 若 $X, Y$ 独立，则 $D(X \pm Y) = D(X) + D(Y)$

**推广：** 若 $X_1, X_2, \ldots, X_n$ 相互独立，则
$$D(X_1 + X_2 + \cdots + X_n) = D(X_1) + D(X_2) + \cdots + D(X_n)$$

**性质 4：** $D(X) = 0$ 的充分必要条件是 $P(X = E(X)) = 1$（$X$ 几乎处处为常数）

**例 4.3** 设 $X \sim B(n, p)$，用方差性质求 $D(X)$。

**解：** 设 $X = X_1 + X_2 + \cdots + X_n$，其中 $X_i \sim B(1, p)$ 且相互独立。

$D(X_i) = p(1-p)$，故 $D(X) = np(1-p)$。

**标准化随机变量：**
设 $E(X) = \mu$，$D(X) = \sigma^2 > 0$，称
$$X^* = \frac{X - \mu}{\sigma}$$
为 $X$ 的**标准化随机变量**。

显然 $E(X^*) = 0$，$D(X^*) = 1$。

===== 4.3 协方差与相关系数 =====

==== 4.3.1 协方差 ====

**定义 4.4（协方差）**
设 $(X, Y)$ 是二维随机变量，若 $E[(X-E(X))(Y-E(Y))]$ 存在，则称它为 $X$ 与 $Y$ 的**协方差**，记为 $Cov(X, Y)$。

$$Cov(X, Y) = E[(X - E(X))(Y - E(Y))]$$

**计算公式：**
$$Cov(X, Y) = E(XY) - E(X)E(Y)$$

**协方差的性质：**
1. $Cov(X, X) = D(X)$
2. $Cov(X, Y) = Cov(Y, X)$（对称性）
3. $Cov(aX, bY) = abCov(X, Y)$
4. $Cov(X_1 + X_2, Y) = Cov(X_1, Y) + Cov(X_2, Y)$

**方差与协方差的关系：**
$$D(X \pm Y) = D(X) + D(Y) \pm 2Cov(X, Y)$$

==== 4.3.2 相关系数 ====

**定义 4.5（相关系数）**
设 $D(X) > 0$，$D(Y) > 0$，称
$$\rho_{XY} = \frac{Cov(X, Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$
为 $X$ 与 $Y$ 的**相关系数**。

**相关系数的性质：**
1. $|\rho_{XY}| \leq 1$
2. $|\rho_{XY}| = 1$ 的充分必要条件是存在常数 $a, b$ 使 $P(Y = aX + b) = 1$

**意义：**
- $\rho_{XY}$ 刻画了 $X$ 与 $Y$ 之间线性关系的程度
- $\rho_{XY} > 0$：正相关
- $\rho_{XY} < 0$：负相关
- $\rho_{XY} = 0$：不相关（无线性关系）

**定理 4.3**
若 $X, Y$ 独立，则 $\rho_{XY} = 0$（不相关）。反之不成立。

**例 4.4** 设 $(X, Y)$ 在单位圆 $x^2 + y^2 \leq 1$ 上服从均匀分布，证明 $X, Y$ 不相关但不独立。

**证明：** 由对称性，$E(X) = E(Y) = 0$，$E(XY) = 0$，故 $Cov(X, Y) = 0$，$\rho_{XY} = 0$。

但 $f(x, y) = \frac{1}{\pi} \neq f_X(x)f_Y(y)$，不独立。

**注：** 对于二维正态分布，不相关与独立等价。

===== 4.4 矩与协方差矩阵 =====

==== 4.4.1 矩的概念 ====

**定义 4.6（矩）**
设 $X$ 是随机变量：
- **$k$ 阶原点矩：** $\mu_k = E(X^k)$（$k = 1, 2, \ldots$）
- **$k$ 阶中心矩：** $\nu_k = E[(X - E(X))^k]$（$k = 1, 2, \ldots$）

显然：$\mu_1 = E(X)$，$\nu_2 = D(X)$

**定义 4.7（混合矩）**
设 $(X, Y)$ 是二维随机变量：
- **$k+l$ 阶混合原点矩：** $E(X^k Y^l)$
- **$k+l$ 阶混合中心矩：** $E[(X-E(X))^k (Y-E(Y))^l]$

显然：$Cov(X, Y)$ 是 $1+1$ 阶混合中心矩。

==== 4.4.2 协方差矩阵 ====

**定义 4.8（协方差矩阵）**
设 $n$ 维随机变量 $(X_1, X_2, \ldots, X_n)$ 的二阶混合中心矩 $c_{ij} = Cov(X_i, X_j)$ 都存在，则矩阵
$$C = (c_{ij})_{n \times n} = \begin{pmatrix} c_{11} & c_{12} & \cdots & c_{1n} \\ c_{21} & c_{22} & \cdots & c_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ c_{n1} & c_{n2} & \cdots & c_{nn} \end{pmatrix}$$
称为 $(X_1, X_2, \ldots, X_n)$ 的**协方差矩阵**。

**性质：**
1. $c_{ii} = D(X_i)$，$c_{ij} = c_{ji}$
2. $C$ 是对称半正定矩阵

===== 4.5 典型例题 =====

**例题 4.1** 设 $X$ 的密度为 $f(x) = \frac{1}{2}e^{-|x|}$（$-\infty < x < +\infty$），求 $E(X)$ 和 $D(X)$。

**解：**
$E(X) = \int_{-\infty}^{+\infty} x \cdot \frac{1}{2}e^{-|x|}dx = 0$（奇函数）

$E(X^2) = \int_{-\infty}^{+\infty} x^2 \cdot \frac{1}{2}e^{-|x|}dx = \int_0^{\infty} x^2 e^{-x}dx = \Gamma(3) = 2$

$D(X) = 2 - 0 = 2$

**例题 4.2** 设 $X, Y$ 独立，$X \sim N(1, 2)$，$Y \sim N(0, 1)$，求 $Z = 2X - Y + 3$ 的分布。

**解：** $E(Z) = 2E(X) - E(Y) + 3 = 2 \times 1 - 0 + 3 = 5$

$D(Z) = 4D(X) + D(Y) = 4 \times 2 + 1 = 9$

$Z \sim N(5, 9)$

===== 4.6 习题 =====

**基础题**
1. 设 $X$ 的分布律为 $P(X = k) = \frac{1}{5}$（$k = 1, 2, 3, 4, 5$），求 $E(X)$ 和 $D(X)$。

2. 设 $X \sim U(a, b)$，求 $E(X^2)$。

3. 设 $X, Y$ 独立，$E(X) = E(Y) = 0$，$D(X) = D(Y) = 1$，求 $E[(X+Y)^2]$。

**提高题**
4. 设 $(X, Y)$ 的联合密度为 $f(x, y) = \begin{cases} 2, & 0 < x < y < 1 \\ 0, & \text{其他} \end{cases}$，求 $Cov(X, Y)$。

5. 设 $X_1, X_2, \ldots, X_n$ 独立同分布，$E(X_i) = \mu$，$D(X_i) = \sigma^2$，求 $E(\bar{X})$ 和 $D(\bar{X})$，其中 $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$。

**挑战题**
6. 证明柯西-施瓦茨不等式：$[E(XY)]^2 \leq E(X^2)E(Y^2)$。

7. 设 $X$ 是非负连续型随机变量，证明：$E(X) = \int_0^{\infty} P(X > x)dx$。

<html>
<script type="text/javascript" async
  src="https://cdn.jsdelivr.net/npm/mathjax@3/es5/tex-mml-chtml.js">
</script>
</html>