引例： 某射手射击 100 次，成绩如下： - 命中 10 环：20 次 - 命中 9 环：50 次 - 命中 8 环：25 次 - 命中 7 环：5 次
平均环数 = $\frac{10 \times 20 + 9 \times 50 + 8 \times 25 + 7 \times 5}{100} = 10 \times 0.2 + 9 \times 0.5 + 8 \times 0.25 + 7 \times 0.05 = 8.85$
定义 4.1（离散型随机变量的数学期望） 设离散型随机变量 $X$ 的分布律为 $P(X = x_k) = p_k$（$k = 1, 2, \ldots$），若级数 $\sum_{k=1}^{\infty} |x_k|p_k$ 收敛，则称 $$E(X) = \sum_{k=1}^{\infty} x_k p_k$$ 为 $X$ 的数学期望（简称期望或均值）。
定义 4.2（连续型随机变量的数学期望） 设连续型随机变量 $X$ 的概率密度为 $f(x)$，若积分 $\int_{-\infty}^{+\infty} |x|f(x)dx$ 收敛，则称 $$E(X) = \int_{-\infty}^{+\infty} xf(x)dx$$ 为 $X$ 的数学期望。
意义： 数学期望反映了随机变量取值的“平均水平”。
1. 0-1 分布： $E(X) = p$
2. 二项分布 $B(n, p)$： $E(X) = np$
证明： $E(X) = \sum_{k=0}^n k C_n^k p^k (1-p)^{n-k} = np\sum_{k=1}^n C_{n-1}^{k-1} p^{k-1} (1-p)^{n-k} = np$
3. 泊松分布 $P(\lambda)$： $E(X) = \lambda$
证明： $E(X) = \sum_{k=0}^{\infty} k \frac{\lambda^k e^{-\lambda}}{k!} = \lambda e^{-\lambda}\sum_{k=1}^{\infty} \frac{\lambda^{k-1}}{(k-1)!} = \lambda e^{-\lambda} e^{\lambda} = \lambda$
4. 均匀分布 $U(a, b)$： $E(X) = \frac{a+b}{2}$
证明： $E(X) = \int_a^b x \cdot \frac{1}{b-a}dx = \frac{1}{b-a} \cdot \frac{b^2-a^2}{2} = \frac{a+b}{2}$
5. 指数分布 $E(\lambda)$： $E(X) = \frac{1}{\lambda}$
证明： $E(X) = \int_0^{\infty} x \lambda e^{-\lambda x}dx = \frac{1}{\lambda}\int_0^{\infty} t e^{-t}dt = \frac{1}{\lambda}$
6. 正态分布 $N(\mu, \sigma^2)$： $E(X) = \mu$
证明： 令 $t = \frac{x-\mu}{\sigma}$，则 $$E(X) = \int_{-\infty}^{+\infty} x \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty} (\sigma t + \mu) e^{-\frac{t^2}{2}}dt = \mu$$
定理 4.1 设 $Y = g(X)$：
(1) 若 $X$ 是离散型，$P(X = x_k) = p_k$，则 $$E(Y) = E(g(X)) = \sum_{k=1}^{\infty} g(x_k) p_k$$
(2) 若 $X$ 是连续型，密度为 $f(x)$，则 $$E(Y) = E(g(X)) = \int_{-\infty}^{+\infty} g(x) f(x)dx$$
例 4.1 设 $X \sim U(0, 2\pi)$，求 $E(\sin X)$。
解： $$E(\sin X) = \int_0^{2\pi} \sin x \cdot \frac{1}{2\pi}dx = \frac{1}{2\pi}[-\cos x]_0^{2\pi} = 0$$
定理 4.2（二维情形） 设 $Z = g(X, Y)$：
(1) 离散型：$E(Z) = \sum_i\sum_j g(x_i, y_j)p_{ij}$
(2) 连续型：$E(Z) = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} g(x, y)f(x, y)dxdy$
性质 1： $E(C) = C$（$C$ 为常数）
性质 2： $E(CX) = CE(X)$
性质 3： $E(X + Y) = E(X) + E(Y)$
推广： $E(X_1 + X_2 + \cdots + X_n) = E(X_1) + E(X_2) + \cdots + E(X_n)$
性质 4： 若 $X, Y$ 独立，则 $E(XY) = E(X)E(Y)$
推广： 若 $X_1, X_2, \ldots, X_n$ 相互独立，则 $E(X_1X_2\cdots X_n) = E(X_1)E(X_2)\cdots E(X_n)$
例 4.2 将 $n$ 个球随机放入 $N$ 个盒子中（$n \leq N$），每个球等可能落入任一盒。求有球盒子数 $X$ 的期望。
解： 设 $X_i = \begin{cases} 1, & \text{第 } i \text{ 个盒子有球}
0, & \text{否则} \end{cases}$，则 $X = X_1 + X_2 + \cdots + X_N$
$P(X_i = 0) = \left(\frac{N-1}{N}\right)^n$，$P(X_i = 1) = 1 - \left(1 - \frac{1}{N}\right)^n$
$E(X_i) = 1 - \left(1 - \frac{1}{N}\right)^n$
$E(X) = N\left[1 - \left(1 - \frac{1}{N}\right)^n\right]$
引例： 设甲、乙两射手的平均命中环数都是 8.5 环，但甲的发挥稳定，乙的发挥波动大。如何量化这种差异？
定义 4.3（方差） 设 $X$ 是随机变量，若 $E[(X - E(X))^2]$ 存在，则称它为 $X$ 的方差，记为 $D(X)$ 或 $Var(X)$。
$$D(X) = E[(X - E(X))^2]$$
称 $\sigma(X) = \sqrt{D(X)}$ 为 $X$ 的标准差或均方差。
方差的计算公式： $$D(X) = E(X^2) - [E(X)]^2$$
证明： $D(X) = E[(X - E(X))^2] = E[X^2 - 2XE(X) + (E(X))^2] = E(X^2) - 2[E(X)]^2 + [E(X)]^2 = E(X^2) - [E(X)]^2$
意义： 方差反映了随机变量取值相对于均值的分散程度。方差越小，取值越集中。
1. 0-1 分布： $D(X) = p(1-p)$
2. 二项分布 $B(n, p)$： $D(X) = np(1-p)$
3. 泊松分布 $P(\lambda)$： $D(X) = \lambda$
4. 均匀分布 $U(a, b)$： $D(X) = \frac{(b-a)^2}{12}$
证明： $E(X^2) = \int_a^b x^2 \frac{1}{b-a}dx = \frac{b^3-a^3}{3(b-a)} = \frac{a^2+ab+b^2}{3}$
$D(X) = \frac{a^2+ab+b^2}{3} - \left(\frac{a+b}{2}\right)^2 = \frac{(b-a)^2}{12}$
5. 指数分布 $E(\lambda)$： $D(X) = \frac{1}{\lambda^2}$
6. 正态分布 $N(\mu, \sigma^2)$： $D(X) = \sigma^2$
性质 1： $D(C) = 0$（$C$ 为常数）
性质 2： $D(CX) = C^2D(X)$
性质 3： 若 $X, Y$ 独立，则 $D(X \pm Y) = D(X) + D(Y)$
推广： 若 $X_1, X_2, \ldots, X_n$ 相互独立，则 $$D(X_1 + X_2 + \cdots + X_n) = D(X_1) + D(X_2) + \cdots + D(X_n)$$
性质 4： $D(X) = 0$ 的充分必要条件是 $P(X = E(X)) = 1$（$X$ 几乎处处为常数）
例 4.3 设 $X \sim B(n, p)$，用方差性质求 $D(X)$。
解： 设 $X = X_1 + X_2 + \cdots + X_n$，其中 $X_i \sim B(1, p)$ 且相互独立。
$D(X_i) = p(1-p)$，故 $D(X) = np(1-p)$。
标准化随机变量： 设 $E(X) = \mu$，$D(X) = \sigma^2 > 0$，称 $$X^* = \frac{X - \mu}{\sigma}$$ 为 $X$ 的标准化随机变量。
显然 $E(X^*) = 0$，$D(X^*) = 1$。
定义 4.4（协方差） 设 $(X, Y)$ 是二维随机变量，若 $E[(X-E(X))(Y-E(Y))]$ 存在，则称它为 $X$ 与 $Y$ 的协方差，记为 $Cov(X, Y)$。
$$Cov(X, Y) = E[(X - E(X))(Y - E(Y))]$$
计算公式： $$Cov(X, Y) = E(XY) - E(X)E(Y)$$
协方差的性质： 1. $Cov(X, X) = D(X)$ 2. $Cov(X, Y) = Cov(Y, X)$（对称性） 3. $Cov(aX, bY) = abCov(X, Y)$ 4. $Cov(X_1 + X_2, Y) = Cov(X_1, Y) + Cov(X_2, Y)$
方差与协方差的关系： $$D(X \pm Y) = D(X) + D(Y) \pm 2Cov(X, Y)$$
定义 4.5（相关系数） 设 $D(X) > 0$，$D(Y) > 0$，称 $$\rho_{XY} = \frac{Cov(X, Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$ 为 $X$ 与 $Y$ 的相关系数。
相关系数的性质： 1. $|\rho_{XY}| \leq 1$ 2. $|\rho_{XY}| = 1$ 的充分必要条件是存在常数 $a, b$ 使 $P(Y = aX + b) = 1$
意义： - $\rho_{XY}$ 刻画了 $X$ 与 $Y$ 之间线性关系的程度 - $\rho_{XY} > 0$：正相关 - $\rho_{XY} < 0$：负相关 - $\rho_{XY} = 0$：不相关（无线性关系）
定理 4.3 若 $X, Y$ 独立，则 $\rho_{XY} = 0$（不相关）。反之不成立。
例 4.4 设 $(X, Y)$ 在单位圆 $x^2 + y^2 \leq 1$ 上服从均匀分布，证明 $X, Y$ 不相关但不独立。
证明： 由对称性，$E(X) = E(Y) = 0$，$E(XY) = 0$，故 $Cov(X, Y) = 0$，$\rho_{XY} = 0$。
但 $f(x, y) = \frac{1}{\pi} \neq f_X(x)f_Y(y)$，不独立。
注： 对于二维正态分布，不相关与独立等价。
定义 4.6（矩） 设 $X$ 是随机变量： - $k$ 阶原点矩： $\mu_k = E(X^k)$（$k = 1, 2, \ldots$） - $k$ 阶中心矩： $\nu_k = E[(X - E(X))^k]$（$k = 1, 2, \ldots$）
显然：$\mu_1 = E(X)$，$\nu_2 = D(X)$
定义 4.7（混合矩） 设 $(X, Y)$ 是二维随机变量： - $k+l$ 阶混合原点矩： $E(X^k Y^l)$ - $k+l$ 阶混合中心矩： $E[(X-E(X))^k (Y-E(Y))^l]$
显然：$Cov(X, Y)$ 是 $1+1$ 阶混合中心矩。
定义 4.8（协方差矩阵）
设 $n$ 维随机变量 $(X_1, X_2, \ldots, X_n)$ 的二阶混合中心矩 $c_{ij} = Cov(X_i, X_j)$ 都存在，则矩阵
$$C = (c_{ij})_{n \times n} = \begin{pmatrix} c_{11} & c_{12} & \cdots & c_{1n}
c_{21} & c_{22} & \cdots & c_{2n}
\vdots & \vdots & \ddots & \vdots
c_{n1} & c_{n2} & \cdots & c_{nn} \end{pmatrix}$$
称为 $(X_1, X_2, \ldots, X_n)$ 的协方差矩阵。
性质： 1. $c_{ii} = D(X_i)$，$c_{ij} = c_{ji}$ 2. $C$ 是对称半正定矩阵
例题 4.1 设 $X$ 的密度为 $f(x) = \frac{1}{2}e^{-|x|}$（$-\infty < x < +\infty$），求 $E(X)$ 和 $D(X)$。
解： $E(X) = \int_{-\infty}^{+\infty} x \cdot \frac{1}{2}e^{-|x|}dx = 0$（奇函数）
$E(X^2) = \int_{-\infty}^{+\infty} x^2 \cdot \frac{1}{2}e^{-|x|}dx = \int_0^{\infty} x^2 e^{-x}dx = \Gamma(3) = 2$
$D(X) = 2 - 0 = 2$
例题 4.2 设 $X, Y$ 独立，$X \sim N(1, 2)$，$Y \sim N(0, 1)$，求 $Z = 2X - Y + 3$ 的分布。
解： $E(Z) = 2E(X) - E(Y) + 3 = 2 \times 1 - 0 + 3 = 5$
$D(Z) = 4D(X) + D(Y) = 4 \times 2 + 1 = 9$
$Z \sim N(5, 9)$
基础题 1. 设 $X$ 的分布律为 $P(X = k) = \frac{1}{5}$（$k = 1, 2, 3, 4, 5$），求 $E(X)$ 和 $D(X)$。
2. 设 $X \sim U(a, b)$，求 $E(X^2)$。
3. 设 $X, Y$ 独立，$E(X) = E(Y) = 0$，$D(X) = D(Y) = 1$，求 $E[(X+Y)^2]$。
提高题
4. 设 $(X, Y)$ 的联合密度为 $f(x, y) = \begin{cases} 2, & 0 < x < y < 1
0, & \text{其他} \end{cases}$，求 $Cov(X, Y)$。
5. 设 $X_1, X_2, \ldots, X_n$ 独立同分布，$E(X_i) = \mu$，$D(X_i) = \sigma^2$，求 $E(\bar{X})$ 和 $D(\bar{X})$，其中 $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$。
挑战题 6. 证明柯西-施瓦茨不等式：$[E(XY)]^2 \leq E(X^2)E(Y^2)$。
7. 设 $X$ 是非负连续型随机变量，证明：$E(X) = \int_0^{\infty} P(X > x)dx$。
<html> <script type=“text/javascript” async
src="https://cdn.jsdelivr.net/npm/mathjax@3/es5/tex-mml-chtml.js">
</script> </html>